Google工程师是怎样解决大规模数据的?
毫无疑问,Google是公认的大数据鼻祖。如今很多人提起大数据,还停留在?Google 开启的“三驾马车”时代:Google FS、MapReduce、BigTable。其实,“三驾马车”早已不是浪潮之巅。
近年来,大数据技术的发展,不管是技术迭代,还是生态圈的繁荣,都远超我们的想象。从 Spark 成为 Hadoop 生态的一部分,到 Flink 横空出世挑战 Spark 成为大数据解决领域的新星,再到如今 Google 又决心用 Apache Beam 一统天下。大数据技术的发展可谓跌宕起伏,波澜壮阔。

大数据技术生态圈
丰富的工具,繁荣的生态,也添加了开发者选择合适工具的难度。把开源框架,工具,类库,平台整合到一起,所需要的工作量以及复杂度,可想而知。技术的选择与使用,也是大数据开发者非常头疼的问题。
对大数据以及人工智能概念都是模糊不清的,该按照什么线路去学习,学完往哪方面发展,想深入理解,想学习的同学欢迎加入大数据学习qq群:515269485,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。从java和linux入手,其后逐渐的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识逐个分享!
之前和 Google Brain 的工程师交流的时候,他提到在大数据领域,能把技术想明白,用明白的开发者太少了,少量中小型公司的技术 VP ,往往也是在“赶技术的时髦”的状态中,更别说普通的开发者。对大数据解决,比较常见的误区有下面几种:
1.低估了数据解决的重要性。
没有高质量的数据解决,人工智能只有人工没有智能。例如在语义了解上,Google 就曾犯过这样的错误,直到被一家德国的小公司超过,才认识到高质量的数据标注和解决的重要性。
2.低估了数据解决工程师在组织架构上的重要性。
大数据领域泰斗级人物Jesse Anderson曾做过一项研究,一个人工智能团队的正当组织架构,需要4/5的数据解决工程师。其实,即便是一个写前台的工程师,很多工作还是数据解决。很不幸,很多团队没有认识到这一点。
3.低估了数据解决规模变大带来的复杂度。
很多人还没有遇到过“大规模”的问题,因而容易把问题想的过于简单。Google有很多优秀的候选人,他们对常见的编程问题可以很好的处理,但只需追问数据规模变大时怎样设计系统,答复却常常不尽人意。
4.高估了上手数据解决的难度。
一方面我们需要认识到大规模的数据解决是有复杂的因素的。但另一方面,有了正确的工具和技术理念,现在上手数据解决并不困难。在Google,很多应届生入职半年后也能轻松应对上亿的数据量。
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Google工程师是怎样解决大规模数据的?