当前位置: 首页 > 问答 > 大数据工程师 > 问答详情

企业应该如何做数据挖掘?

03月18日 04:33619人阅读
张老师 大数据工程师

第一,是商业理解,在我看来,这个商业理解就是要把业务问题转换成数据挖掘问题,目前数据挖掘的理论概念中,一般都包括分类,聚类,回归,关联规则这几类,这需要对这几类方法有一定的理解,才能有效地转换。

第二. 数据理解,数据描述了我们的业务,在这一步,我们必须找准对应关系,所面临的业务问题,有哪些数据可以用,我们做的是定量分析,没有数据显然是得不到模型的,知道哪里数据和业务关系紧密,也能让我们的分析事半功倍。

第三.数据准备,实际上数据挖掘的大部分工作都在这一步,往往到了这一步就发现理想很美好,但现实很骨感,数据质量令人堪忧,缺失值,异常值接踵而来,这是数据的错误,还有为了适应算法,需要将数据去量纲化,类型转换,去相关性,降维等等操作,这一步将消耗分析人员大量精力。

第四,建模,这一步需要对算法理解透彻,要了解数据特征和算法特点,才能选择最优算法,以及最优参数,很多算法的使用是有假设条件的,必须仔细掌握,得到的模型才会合理,另外,还要考虑业务需要,如果模型必须能解释,那就要选择生成式模型算法。

第五,评价,就是模型评估了,各种评估指标的侧重点是不一样的,要以最能反应业务的指标为准,另外,评估数据的选择也很关键,要尽可能的模拟实际生产环境,才能评估模型的性能。

职业技能申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

问答来自

张老师 大数据工程师
好评率85% 浏览619

相关问题

成为大数据开发工程师有哪些要求?
刘老师 大数据工程师
大数据分析师证书可以自己报名考试吗?
梦老师 大数据工程师
大数据有哪些难点?
许老师 大数据工程师
课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部