当前位置: 首页 > 问答 > 大数据工程师 > 问答详情

数据处理有哪些步骤?

01月28日 07:372508人阅读
许老师 大数据工程师

一、拿

专业术语称为“爬行”。例如,搜索引擎可以这样做:它将Internet上的所有信息下载到其数据中心,然后您就可以搜索出来。

二、推送

有很多终端可以帮助我收集数据。例如,小米手环可以将您的日常跑步数据,心跳数据和睡眠数据上传到数据中心这两个步骤是数据传输。通常,它将在队列中完成,因为数据量太大,并且必须对数据进行处理才能有用。但是系统无法处理它,所以我不得不排队并慢慢地处理它。

三、存储

现在,数据就是金钱,掌握数据就等于掌握金钱。否则,网站如何知道您要购买什么? 这是因为它具有您的历史交易数据。此信息无法提供给其他人,它非常宝贵,因此需要存储。

四、数据处理和分析

上面存储的数据是原始数据,大多数原始数据比较杂乱,并且其中包含大量垃圾数据,因此需要对其进行清理和过滤以获取一些高质量的数据。对于高质量数据,您可以对其进行分析以对数据进行分类,或者发现数据之间的关系并获取知识。

五、用于数据检索和挖掘

检索是搜索,所谓外交不决定要问谷歌,内政不决定要问百度。内部和外部搜索引擎都将经过分析的数据放入搜索引擎中,因此当人们想要查找信息时,他们可以对其进行搜索。

职业技能申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

问答来自

许老师 大数据工程师
好评率85% 浏览2508

相关问题

什么是分布式数据库?
许老师 大数据工程师
如何学习大数据计算?
刘老师 大数据工程师
大数据行业现状及前景如何?
魏老师 大数据工程师
课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部