大数据技术包含哪些结构层次?
【摘要】大数据领域每年都会涌现出大量新的技术，大数据技术可以挖掘出大规模数据中隐藏的信息和知识，为人类社会经济活动提供依据，提高各领域的运行效率，甚至提高整个社会经济的集约化程度。那么，大数据计算包含哪些结构层次呢？
1、统一数据基础层
我们通过各种方式采集到的丰富数据，在清洗、结构化后进入统一的ODS数据基础层。
其主要功能包括：
-同步：结构化数据增量或全量同步到数据中台。
-结构化：非结构化(日志)结构化处理并存储到数据中台。
累积历史、清洗：根据数据业务需求及稽核和审计要求保存历史数据、数据清洗
在权责方面，所有数据应该在源头统一，统一所有的数据基础层，并由一个团队负责和管控，其他团队无权复制数据基础层的数据。
2、数据中间层
我们进行数据建模研发，并处理不因业务特别是组织架构变动而轻易转移的数据中间层。包括DWD明细数据中间层和DWS汇总数据中间层。
其主要功能包括：
-组合相关和相似数据：采用明细宽表，复用关联计算，减少数据扫描。
-公共指标统一加工：基于OneData体系构建命名规范、口径一致和算法统一的统计指标，为上层数据产-品、应用和服务提供公共指标;建立逻辑汇总宽表。
-建立一致性维度：建立一致数据分析维度表，降低数据计算口径、算法不统一的风险。
3、数据应用层
在面向应用提供服务时，业务团队或深入业务线的数据团队有极大的自由度，只要依赖数据公共层，即可自由的建设ADS数据应用层。
其主要功能包括：
-个性化指标加工：不公用性;复杂性(指数型、比值型、排名型指标)。
-基于应用的数据组装：大宽表集市、横表转纵表、趋势指标串。
关于大数据技术包含哪些结构层次，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。
就业培训申请领取
环球青藤
官方QQ群扫描上方二维码或点击一键加群，免费领取大礼包，加群暗号：青藤。 一键加群
大数据工程师相关文章推荐
|大数据工程师最新文章推荐
刷题看课 APP下载
免费直播 一键购课
代报名等人工服务
