大数据工程师到底需要会什么?

1.大数据基础知识。hadoop生态圈的组件，离线批处理和流处理组件。所以什么zookeep hdfs yarn hive hbase eslasticsearch spark sparkstreaming flink等等，你都要了解，甚至熟悉才行。不管国外的CDH，还是国内的TDH、华为、阿里的产品，你实施中是要安装、指导客户使用、以及debug常见问题的。

2.Linux知识。目前基本集群服务大部分是使用linux的，所以需要熟悉linux常用命令，linux相关发性版本系统(如redhat ubuntu centos甚至 arm体系架构的系统)安装，网络配置，磁盘规划，常见系统问题分析等等。

3.必要的开发语言，应用和运维开发基础。别以为实施工程师就不用写代码了，其实实施工程师也要会，而且要全面。shell perl python的脚本用来运维自动化，java sacla写一些demo用来展示给客户做应用接入，sql做一些数据处理和etl等。另外debug集群的时候，经常会有日志信息，也是不同语言的trace信息，不懂开发，这部分log都看不明白的。

4.虚拟化技术。现在很多大数据产品已经上云了，数据云也是未来的方向。所以k8s docker 等都需要了解。国内阿里、星环等等产品都带有云的概念了。

5.软实力。沟通和写作能力、抗压能力、灵活应变能力等。这是技术以外的，但是也很重要。