数据工程分析的主要操作有哪些?
【摘要】数据工程是以产生决策智能为目标,将多种数据源中的相关数据提取、融合、梳理整合成一个分析数据集的一个操作过程。预处理、归一化、数据清洗、去除重复数据、数据连接是数据工程涉及的主要操作,这是大数据常用的数据处理技术。那么,今天就跟随小编一起来了解一下这些主要操作吧!
预处理
数据的预处理操作涉及到:一是数据的码制转换,常见的码制有GBK、UTF-8、UNICODE;二是繁简转化,尤其是港台的一些文字;三是html内容文本提取,从互联网采集的数据通常为HTML格式,需要将HTML中可以显示的文本内容提取出来,作为指定字段的内容;四是表情符的处理、字段的拆分与合并等操作等都是在数据预处理环节做的操作。
归一化
数据的归一化包含不同信源数据的字段归一化、特征归一化、时间归一化、地名归一化。首先,字段归一化是指将不同爬虫采集到的同一字段整合,比如不同爬虫采下来的作者字段,命名可能不同,有的可能叫发布者,有的可能叫作者,如果需要把数据整合到一起分析,首先需要把字段命名做归一。其次,时间归一化是指,比如表达时间,文本可能是某年某月某日的形式,也可能是2019/12/20的形式,也可能是几天前、几小时前,时间归一化要做的就是将这些时间的表达统一成一种表达形式,这样才可以做后续的数据分析和统计。
数据清洗
对数据采集过程中产生的噪音数据进行清洗,噪音可能是字段的部分内容,也可能是整条数据,比如做电商评论数据处理的时候,需要清洗掉字符数小于5的无效数据或者默认好评的灌水数据或者水军发布的数据,这一操作需要根据具体的需求及数据质量去确定。
去除重复数据
数据存在重复是很常见的现象,但造成数据重复的原因是多种多样的,对于数据重复通常需要针对性处理,所以需要一个判断重复的标准。比较简单的就是所有都一模一样的判定为重复,这个也是比较好处理的,复杂的数据判重需要一个或多个字段联合,当字段为文本类型时,通常需要引入CRC或MD5算法产生新的判重字段。
数据连接
即不同类型数据的连接,比如主贴、回帖的关联,主贴和人物的连接,店铺和产品的连接。进行数据连接主要是找到共同的字段,这个字段需要是个唯一标识,常用的连接字段有url,uid,连接的关系可能是一对一,也可能是一对多。
关于数据工程分析的主要操作的内容,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。
就业培训申请领取
环球青藤
官方QQ群扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群
大数据工程师相关文章推荐
|大数据工程师最新文章推荐
刷题看课 APP下载
免费直播 一键购课
代报名等人工服务