文摘您现在的位置是:首页 > 博客日志 > 文摘

谷歌数据工程师不优化 SQL,竟是因为存储太便宜了!

<a href='mailto:'>微wx笑</a>的头像微wx笑 2022-11-12文摘 0 0关键字: SQL优化  

我是谷歌公司的一个外部供应商。合作过程中,我看到一些谷歌工程师写的 SQL 语句效率很低。这些语句每10分钟对数据库生成一个快照,要浪费好几 TB 的空间。谷歌为什么不优化这

我是谷歌公司的一个外部供应商。n5G无知

合作过程中,我看到一些谷歌工程师写的 SQL 语句效率很低。n5G无知

这些语句每10分钟对数据库生成一个快照,要浪费好几 TB 的空间。谷歌为什么不优化这些语句呢?n5G无知

n5G无知

后来,我想明白了这是为什么。n5G无知

首先,很多现代数据库具有实时优化功能,会自己优化 SQL 语句,不需要在这方面投入人力。n5G无知

其次,根据公开数据,2022年数据工程师的平均年薪为11.25万美元,谷歌工程师的收入显然更高。因此,谷歌认为,工程师的时间最好花在创造业务价值上,而不是用来优化 SQL 查询,这种事情应该留给数据引擎的开发人员和云计算。n5G无知

第三,存储几乎是免费的,而且每天都变得更便宜。现在谷歌 GCP 云平台上每年存储 1TB 数据的成本约为 20 美元。如果每15分钟对一个包含大约 300 万条记录的小表生成快照,那么每年生成的数据大约就是 1TB。n5G无知

一个美国数据工程师的每小时工资平均为54美元,让他在优化查询、编写合并语句、创建单独的管道、提交代码、对其进行审查、长期维护上工作一个小时的时间,就大致相当于数据存储两年的成本。n5G无知

实际上,我的估计是,工程师对这个项目的 SQL 查询进行优化,可能需要花费8小时(一天的工作时间),那就大约是16年的存储成本。n5G无知

由于存储成本如此之低,而且越来越低,工程师的时间用于快速行动和创造业务价值,远比浪费在编写精巧的 SQL 语句上更有价值。n5G无知


n5G无知

本文为转载文章,版权归原作者所有,不代表本站立场和观点。

很赞哦! () 有话说 ()

相关文章