第一,是商业理解,在我看来,这个商业理解就是要把业务问题转换成数据挖掘问题,目前数据挖掘的理论概念中,一般都包括分类,聚类,回归,关联规则这几类,这需要对这几类方法有一定的理解,才能有效地转换。
第二. 数据理解,数据描述了我们的业务,在这一步,我们必须找准对应关系,所面临的业务问题,有哪些数据可以用,我们做的是定量分析,没有数据显然是得不到模型的,知道哪里数据和业务关系紧密,也能让我们的分析事半功倍。
第三.数据准备,实际上数据挖掘的大部分工作都在这一步,往往到了这一步就发现理想很美好,但现实很骨感,数据质量令人堪忧,缺失值,异常值接踵而来,这是数据的错误,还有为了适应算法,需要将数据去量纲化,类型转换,去相关性,降维等等操作,这一步将消耗分析人员大量精力。
第四,建模,这一步需要对算法理解透彻,要了解数据特征和算法特点,才能选择最优算法,以及最优参数,很多算法的使用是有假设条件的,必须仔细掌握,得到的模型才会合理,另外,还要考虑业务需要,如果模型必须能解释,那就要选择生成式模型算法。
第五,评价,就是模型评估了,各种评估指标的侧重点是不一样的,要以最能反应业务的指标为准,另外,评估数据的选择也很关键,要尽可能的模拟实际生产环境,才能评估模型的性能。
声明:本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果用户发布的作品侵犯了您的权利,请联系管理员:wupeng@hqwx.com
环球青藤
官方QQ群扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群