弱分类器的强势体 逻辑回归算法与推导
【摘要】弱分类器的强势体：逻辑回归算法与推导逻辑回归的函数表达式为用极大似然估计求解每个样本发生的后验概率为则所以样本发生总概率即似然函数
弱分类器的强势体：逻辑回归算法与推导
逻辑回归的函数表达式为
用极大似然估计求解
每个样本发生的后验概率为
则所以样本发生总概率即似然函数为
L(θ)即为目标函数，-L(θ)即为loss函数，求-L(θ)最小
对数L(θ)函数为
对θ求导，即
无法求解。
用梯度下降法逼近最佳值，这里用的是梯度上升法，因为要求L(θ)最大值，其实道理一样。
整体梯度上升算法：
初始化wT=1
重复直至收敛：
计算整体梯度（?l(θ)/?θ）
根据θ+α*（?l(θ)/?θ）来更新回归系数wT
随机梯度上升算法：
初始化wT=1
重复直至收敛：
计算随机每个样本梯度（?l(θ)/?θ）
根据θ+α*（?l(θ)/?θ）来更新回归系数wT
逻辑回归的优点是实现简单，分类快。缺点是容易欠拟合，只能处理二分类问题（加上softmax优化可用于多分类），但是必须是线性可分的数据。
上一篇：excel表格基本操作之从零开始学习
下一篇：简单介绍树回归的算法原理
就业培训申请领取
环球青藤
官方QQ群扫描上方二维码或点击一键加群，免费领取大礼包，加群暗号：青藤。 一键加群
数据分析师相关文章推荐
|数据分析师最新文章推荐
最新文章
数据分析师各地入口
环球青藤官方微信服务平台
刷题看课 APP下载
免费直播 一键购课
代报名等人工服务
数据分析师热点排行
- 1 传统数据和大数据的区别
- 2 数据分析的8种方法都是哪些?
- 3 数据分析的具体流程是什么?
- 4 3大常用的数据分析工具是什么?
- 5 excel中的运算符
- 6 数据分析的作用有哪些?
- 7 电子商务需要分析哪些数据?
- 8 数据分析包括哪些内容?
- 9 数据分析的基本步骤
- 10 数据分析的作用都有哪些?
