高薪大数据工程师要掌握哪内容?

1、知道怎样利用Hadoop以及其他相关技术设计分布式系统。

2、知道如何利用Pig和Spark创造能够在Hadoop集群上运算数据的脚本。

3、知道如何利用HBase Cassandra和MongoDB来分析非关系型数据库。

4、知道什么才是在不同状况下合适的数据存储技术。

5、知道如何利用Kafka Sqoop和Flume等技术将数据发布到Hadoop集群上。

6、知道如何利用HDFS和MapReduce来存储分析大规模的数据。

7、知道如何利用Hive和MySQL分析关系型数据。

8、知道如何利用Drill Phoenix和Presto查询数据。

9、学会理解YARN Tex Mesos Zookeeper Zepplin Hue和Oozie是怎样管理Hadoop集群的。

10、利用Spark Streaming Flink和Storm消耗流数据。