前路之思您现在的位置是:首页 > 风向标 > 前路之思

如何使用Stack Overflow和GitHub尽早发现技术趋势

<a href='mailto:'>微wx笑</a>的头像微wx笑2019-08-30 11:26:08前路之思人已围观关键字:Serverless, GraphQL

简介最近我的一位高管问我,“我们如何验证我们的假设无服务器架构是一种增长趋势?”这是一个开放式问题,没有单一答案。在我的分析师的帽子上露出微笑和灰尘后,我决定要做一些挖掘工作。我很高兴通过以下教程教你如何做到这一点!

如何使用Stack Overflow和GitHub尽早发现技术趋势NTo编程技术_踩坑日志_进阶指南 - 无知人生

注:本文为机翻,不当之处请对照原文NTo编程技术_踩坑日志_进阶指南 - 无知人生

Trend tutorialNTo编程技术_踩坑日志_进阶指南 - 无知人生

作为Fauna的产品经理,了解更广泛的技术生态系统中出现的问题非常重要。Fauna是一家数据库公司,通过首先关注开发人员来震撼整个行业。通过我们最近发布的GraphQL API,我们将继续以对我们精通技术的社区至关重要的方式进行创新。NTo编程技术_踩坑日志_进阶指南 - 无知人生

最近我的一位高管问我,“我们如何验证我们的假设无服务器架构是一种增长趋势?”这是一个开放式问题,没有单一答案。在我的分析师的帽子上露出微笑和灰尘后,我决定要做一些挖掘工作。我很高兴通过以下教程教你如何做到这一点!NTo编程技术_踩坑日志_进阶指南 - 无知人生

什么是实际技术活动的代理,而不仅仅是噪音?NTo编程技术_踩坑日志_进阶指南 - 无知人生

我的第一个想法是检查Twitter。不幸的是,Twitter现在只通过付费选项提供对其“Firehose”推文的访问。第三方研究公司也以高额溢价提供标签分析。作为一名开发人员和长期数据分析师,我知道Stack Overflow(SO)问题和GitHub repos指向流行语的真相。凭借这两个来源,我赢得了大奖。我决定随着时间的推移寻找SO问题的数量和GitHub repos来衡量无服务器架构的普及程度。NTo编程技术_踩坑日志_进阶指南 - 无知人生

但是“我怎么查询这些来源?”NTo编程技术_踩坑日志_进阶指南 - 无知人生

令我高兴的是,Stack Overflow和GitHub都可以免费和公共使用他们的数据。谢谢Stack Overflow和GitHub!NTo编程技术_踩坑日志_进阶指南 - 无知人生

Stack OverflowNTo编程技术_踩坑日志_进阶指南 - 无知人生

Stack Overflow提供了自己的数据资源管理器。它很简单,适用于简单的查询。我建议花点时间看看他们的热门查询 - 有些人有超过100,000个观看次数!我写的查询是为了分析SO问题的数量:NTo编程技术_踩坑日志_进阶指南 - 无知人生

select 
  concat(datepart(year, CreationDate),'-', datepart(month, CreationDate)) as dt,
  count(1) num_serverless_mentions
from 
  Posts 
where 
  Title LIKE '%serverless%'
group by 
  concat(datepart(year, CreationDate),'-', datepart(month, CreationDate))

让我们剖析这个查询正在做什么:NTo编程技术_踩坑日志_进阶指南 - 无知人生

concat()函数将“CreationDate”转换为YYYY-MM日期格式,Google表格可以轻松转换为时间序列图表NTo编程技术_踩坑日志_进阶指南 - 无知人生

count(1)计算Posts表中符合条件的每条记录NTo编程技术_踩坑日志_进阶指南 - 无知人生

Title LIKE'%serverless%'在帖子标题中的任何位置找到无服务器的所有不同帖子NTo编程技术_踩坑日志_进阶指南 - 无知人生

用任何有趣的技术趋势或语言替换无服务器以执行您自己的分析😸NTo编程技术_踩坑日志_进阶指南 - 无知人生

group by子句确保所有帖子都按月计算NTo编程技术_踩坑日志_进阶指南 - 无知人生

结果数据在这里可视化:NTo编程技术_踩坑日志_进阶指南 - 无知人生

image.pngNTo编程技术_踩坑日志_进阶指南 - 无知人生

哇!随着时间的推移,看看这种增长。向上和向右我们走🚀NTo编程技术_踩坑日志_进阶指南 - 无知人生

GithubNTo编程技术_踩坑日志_进阶指南 - 无知人生

GitHub将其数据的子集作为Google BigQuery上的免费和公共数据集提供(注意:需要Google登录)。提供的表包括有关回购,语言,提交等的数据。我写的查询分析了GitHub repos的数量随着时间的推移:NTo编程技术_踩坑日志_进阶指南 - 无知人生

select
    concat(cast(year(created_at) as string),'-',cast(month(created_at) as string)) dt,
    count(1) num_serverless_repos
FROM (TABLE_DATE_RANGE([githubarchive:day.], 
    TIMESTAMP('2017-01-01'), 
    TIMESTAMP('2019-06-01')
  ))
  where repo.name like '%serverless%'
group by 1
order by 1

有点复杂!让我们剖析这个查询正在做什么:NTo编程技术_踩坑日志_进阶指南 - 无知人生

与SO查询一样,concat()函数将“created_at”转换为YYYY-MM日期格式,Google表格可以轻松转换为时间序列图。
NTo编程技术_踩坑日志_进阶指南 - 无知人生

FROM(TABLE_DATE_RANGE([githubarchive:day。] ...需要一些解释。这些数据存储在BigQuery中的方式是在日常表中。要在几天内执行时间序列查询,我们需要按日期选择一系列表。TABLE_DATE_RANGE函数有三个输入:表前缀(即githubarchive:day。),以及开始和结束日期。NTo编程技术_踩坑日志_进阶指南 - 无知人生

请注意,BigQuery将日期范围限制为1000天/表。因此,多年来执行此分析需要在结果表之间使用UNION。NTo编程技术_踩坑日志_进阶指南 - 无知人生

像'%serverless%'这样的repo.name在回购名称中的任何地方选择“无服务器”的所有不同帖子NTo编程技术_踩坑日志_进阶指南 - 无知人生

group by 1和order by 1告诉查询按日期组织查询,即select语句中的第一行。NTo编程技术_踩坑日志_进阶指南 - 无知人生

把结果可视化:NTo编程技术_踩坑日志_进阶指南 - 无知人生

image.pngNTo编程技术_踩坑日志_进阶指南 - 无知人生

结论NTo编程技术_踩坑日志_进阶指南 - 无知人生

如图所示,无服务器是一种技术趋势,不仅仅是一个流行语。在过去的3年中,已经创建了成千上万的repos,标题中没有服务器,Stack Overflow帖子的数量会随着时间的推移而持续增长。NTo编程技术_踩坑日志_进阶指南 - 无知人生

这项研究再次证实了Fauna的无服务器优先方法。我们的客户已明确表达了价值:无需担心配置和操作,他们能够专注于他们喜欢做的事情:构建有意义的产品。NTo编程技术_踩坑日志_进阶指南 - 无知人生

很明显,到2017年初,无服务器架构正在大踏步前进。您对调查和领先的技术趋势有何兴趣?我邀请您使用自己的关键字运行查询,并与我或Community Slack频道分享结果。NTo编程技术_踩坑日志_进阶指南 - 无知人生

如果您喜欢这个主题,并希望像这样处理系统和挑战,那么Fauna正在招聘!NTo编程技术_踩坑日志_进阶指南 - 无知人生


NTo编程技术_踩坑日志_进阶指南 - 无知人生

原文:https://fauna.com/blog/how-to-spot-tech-trends-earlyNTo编程技术_踩坑日志_进阶指南 - 无知人生

本文由 微wx笑 创作,采用 CC BY-NC 4.0 许可协议。 非商业性使用可自由转载、引用、甚至修改,但需署名作者且注明出处。

很赞哦! () 有话说 ()

上一篇:公众人物的言论困境

下一篇:返回列表

相关文章

站点信息

  • 建站时间:2018-10-24
  • 服务期限阿里云ECS 2027年到期
  • 主题模板:基于《今夕何夕》修改
  • 文章统计:210篇
  • 文章评论:15条
  • 文章阅读:2818次
  • 文章点赞:1026次
  • 微信公众号:扫描二维码,关注我们
  • 二维码-微信公众号-微wx笑