当前位置: 首页 > 数据分析师 > 数据分析师实战技能 > 数据分析师数据分析 > 大数据架构中的流式架构和Kappa架构

大数据架构中的流式架构和Kappa架构

发布时间:2020年09月28日 05:42:04 来源: 点击量:357

【摘要】关于大数据的架构有很多,比如说传统的大数据架构,当然,还有很多经典的大数据架构,比如说流式架构和Kappa架构。流式架构和Kappa架构在大

关于大数据的架构有很多,比如说传统的大数据架构,当然,还有很多经典的大数据架构,比如说流式架构和Kappa架构。流式架构和Kappa架构在大数据中的应用还是很多的,在这篇文章中我们就给大家介绍一下关于流式架构和Kappa架构的相关知识。

1.流式架构

流式架构在大数据中应用十分广泛,在传统大数据架构的基础上,流式架构非常激进,直接取消了批处理操作,数据全程以数据流的方式进行处理,所以在数据接入端没有了ETL操作,转而替换为数据通道。而流式架构的优点十分明显,流式架构的优点就是没有十分麻烦的ETL过程,数据的实效性非常高。当然,流式架构的缺点也是十分明显的,那就是对于流式架构来说,不存在批处理,因此对于数据的重播和历史统计无法很好的支撑。对于离线分析仅仅支撑窗口之内的分析。经过流处理加工后的数据,通过消息中间件以消息的形式直接推送给了消费者。虽然有一个存储部分,但是该存储更多的以窗口的形式进行存储,所以该存储并非发生在数据湖,而是在外围系统。正因为如此,流式架构的适用场景就是预警,监控,对数据有有效期要求的情况。这些就是流式架构的主要内容。

2.Kappa架构

在大数据中,Kappa架构是一种比较常见的架构。Kappa架构的优点就是Kappa架构解决了Lambda架构里面的冗余部分,以数据可重播的超凡脱俗的思想进行了设计,整个架构非常简洁。Kappa架构的缺点就是虽然Kappa架构看起来简洁,但是施难度相对较高,尤其是对于数据重播部分。于是,Kappa架构和Lambda类似,改架构是针对Lambda的优化。使用场景也有很多,和lambda相同。不过Kappa架构的原理就是在Lambda 的基础上进行了优化,将实时和流部分进行了合并,将数据通道以消息队列进行替代。因此对于Kappa架构来说,依旧以流处理为主,但是数据却在数据湖层面进行了存储,当需要进行离线分析或者再次计算的时候,则将数据湖的数据再次经过消息队列重播一次则可。

在这篇文章中我们给大家介绍了两种大数据架构的知识,具体就是流式架构和Kappa架构。这两种架构在大数据中十分常见,所以说大家在学习大数据的时候一定不能忽视这两种架构的学习。

分享到: 编辑:wangmin

就业培训申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

绑定手机号

应《中华人民共和国网络安全法》加强实名认证机制要求,同时为更加全面的体验产品服务,烦请您绑定手机号.

预约成功

本直播为付费学员的直播课节

请您购买课程后再预约

环球青藤移动课堂APP 直播、听课。职达未来!

安卓版

下载

iPhone版

下载
环球青藤官方微信服务平台

刷题看课 APP下载

免费直播 一键购课

代报名等人工服务

课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部