谈谈大数据工程师的鄙视链

老婆漂亮的程序员，鄙视老婆不漂亮的程序员。

有老婆的程序员，鄙视没有老婆的程序员。

有女朋友的程序员，鄙视单身程序狗。

在单身狗之间，才有语言、编辑器和操作系统的互相鄙视。

看人家甜甜蜜蜜的，单身狗的你还不抓紧了找个妹子。

那么对于数据工程师来说，是不是也存在相似的一条鄙视链呢，今天我们不谈技术，我们谈谈技术背后的大数据工程师不同岗位之间的鄙视链：

大数据 ETL 开发工程师：

负责数据仓库 ETL （数据的抽取、转换和导入）流程开发；

精通 Hive SQL，掌握基本的 HQL 优化技能；

熟练使用 MySQL/Postgres 等数据库；

有Hadoop基础知识，熟练掌握PHP / Python / Java任一语言；

????（大数据金字塔的最底端，职业瓶颈非常有限）

大数据开发工程师：

熟习 Linux，熟习 shell，perl，python，php 等脚本语言的一种或者多种；

扎实的 Java 基础编程，熟习传统数据库 MySQL；

熟习 Hadoop，HBase，Hive，Spark，Storm 任意一项或者多项技术；

有大规模数据解决和日志解决经验的优先；

大数据开发工程师+数据平台J2EE开发工程师：

数据平台J2EE开发工程师：3-5年的 Java 开发经验；

慢慢往大数据方向来转，懂一点儿大数据的基础知识；

Hadoop、Spark、Storm、HBase 至少知道是怎样回事，能写一点简单的程序；

J2EE精通，提交计算任务（指定参数）、通过界面查看漂亮的报表和表格；

大数据平台高级开发工程师：

精通 Hadoop、Spark、Storm（源码级别的），Kafka、Flume、ZooKeeper；

精通 J2EE 技术，开源框架（Spring MVC、Spring、MyBatis）；

精通 MySQL 性能调优，Java 虚拟机（JVM）调优；

高并发系统架构（NoSQL、Redis、Memcached、Nginx、负载均衡、分布式）；

大数据平台高级架构师：

研究与跟踪大数据新技术发展方向，针对公司大数据业务进行框架设计； ?

负责公司大数据产品的技术选型、设计、研发和维护，参加产品从立项到交付的全生命周期工作；

参加研发团队的日常技术交流与分享，为其余同事提供技术指导与帮助；

深入理解业务需求与业务逻辑，同产品、业务相关同事密切沟通和配合；

研究未来数据模型和计算框架的创新与落地（数据计算框架轻量化、建立数据模型等）；

高端，高端，高端

大数据数据挖掘与机器学习工程师：

一步一步往上走，走到大数据平台高级架构师级别；

对数据结构和算法设计有较为深刻的了解；

精通各种机器学习与数据挖掘的算法；（Spark MLlib，机器学习，GraphX，图计算，Hadoop Mahout）；

反作弊研发经验、客户行为分析、社群关系挖掘；

个性化推荐系统，客户意愿度分级系统，预测热卖产品走势，客户增长率等；

走到大数据金字塔的最顶端，用技术去直接为企业创造价值和利润，公司可以直接根据这些人计算出来的少量数据、方案等，去科学决策，调整公司的战略，是直接对公司的利润的提升、市场占有率的添加是有帮助的。

写在最后的话：

不论你智商多高，技术多牛逼，最重要的是要会落地，针对存在的问题提出处理方案，给公司创造价值，只有这样才能给自己带来实打实的回报，不然都是浮云啊。

其实很多时候是产品业务推动着技术人员的进步，比方某一天我们开发的产品就爆红了，带来了大量的客户访问，那你是不是就要着手处理高并发，海量数据存储等问题。

在没有碰到问题前，技术人员很多时候并不会意识到潜在的问题，就是在这样处理了一个又一个的问题之后，我们踩过了 N 个坑之后的经验就是我们成长的见证。

【大数据开发学习资料领取方式】：加入大数据技术学习交流群458345782，点击加入群聊，私信管理员就可免费领取