当前位置: 首页 > 问答 > 大数据工程师 > 问答详情

企业如何做好数据挖掘?

04月22日 09:011271人阅读
黄老师 大数据工程师

第一、是商业理解,在我看来,这个商业理解就是要把业务问题转换成数据挖掘问题,目前数据挖掘的理论概念中,一般都包括分类,聚类,回归,关联规则这几类,这需要对这几类方法有一定的理解,才能有效地转换。

第二、数据理解,数据描述了我们的业务,在这一步,我们必须找准对应关系,所面临的业务问题,有哪些数据可以用,我们做的是定量分析,没有数据显然是得不到模型的,知道哪里数据和业务关系紧密,也能让我们的分析事半功倍。

第三、数据准备,实际上数据挖掘的大部分工作都在这一步,往往到了这一步就发现理想很美好,但现实很骨感,数据质量令人堪忧,缺失值,异常值接踵而来,这是数据的错误,还有为了适应算法,需要将数据去量纲化,类型转换,去相关性,降维等等操作,这一步将消耗分析人员大量精力。

第四、建模,这一步需要对算法理解透彻,要了解数据特征和算法特点,才能选择最优算法,以及最优参数,很多算法的使用是有假设条件的,必须仔细掌握,得到的模型才会合理,另外,还要考虑业务需要,如果模型必须能解释,那就要选择生成式模型算法。

第五、评价,就是模型评估了,各种评估指标的侧重点是不一样的,要以最能反应业务的指标为准,另外,评估数据的选择也很关键,要尽可能的模拟实际生产环境,才能评估模型的性能。

职业技能申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

问答来自

黄老师 大数据工程师
好评率85% 浏览1271

相关问题

大数据分析专业学什么?
宋老师 大数据工程师
大数据在医学领域有什么应用?
许老师 大数据工程师
R语言在统计中的应用有哪些?
魏老师 大数据工程师
课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部