Python 机器学习的利器(F)
图
在生活少不了决策,大大小小的决策充满了我们的生活,也决定了我们成长的轨迹。我们花在选择和决策上时间和精力也不少。
图
详情对象我想每个人都经历过,为了给你留下美好回忆,在能否决定相见前,我们会问详情人一系列问题,这些问题帮助我们做出能否见对方的决定。首先我们会问年龄,假如满足我们继续讯问,知道的到结论跳出讯问做出决定。
决策树
为了要将表格转为一棵树,在决策树中每一个结点表示特征,每一条连线表示决策规则,叶节点表示输出。
评价决策树好快
不纯度越低决策树的拟合度就越好
决策树的特征选择算法
决策树学习的关键在于选择最优的划分属性,所谓最优划分属性,对于二元分类而言,就是尽量使用划分的样本同属于一类别。
问题
- 简述决策树的基本原理
通过一系列问题(分类规则)后来判断数据的分类 - 简述如何构建决策树
信息增益率有什么优缺点
如何对决策树进行剪裁
决策树的算法
- 70 年代后期至 80 年代,Quinlan 提出了 ID3 算法
- Quinlan 改进 ID3 算法,称为 C4.5 算法
- 1984 年,多位统计科学家提出了 CART 算法
什么是决策树
是一个相似流程图的树结构,树上每一个节点表示对属性上的测试,每一个分支代表一个属性输出,每一树叶节点代表类或者类分布
什么样数据适合决策树
比较适合分析离散数据。假如数据是连续要先转为离散数据再做分析
熵(entropy)概念
1948 年,香农提出了信息熵的概念
一条信息的信息量大小和他的不确定性有直接的关系,要搞清楚一件非常不确定的事情,需要大量信息,信息量的度量就是等于不确定性的多少。
信息熵计算
信息熵公式
一个普通骰子 假如 1-6 的概率都是 1/6
import matha = -(1.0/6.0 * math.log((1.0/6.0),2))*6.0print(a)2.58496250072第二种骰子,投掷 6 的概率 50%,投掷 1 – 5 概率为 10% 的情况进行计算,5 种情况为 10% 而 50% 为 6 一种情况,乘以 5 是对这几种情况进行求和
-(1.0/10.0 * math.log(1.0/10.0,2) * 5.0) - 1.0/2.0 * math.log(1.0/2.0,2)有 5 骰子的概率为 10% ,
2.1609640474436813投掷 6 概率是 100%,也就是说明信息熵为 0 ,表示确定性为 100%。
-(1.0 * math.log(1.0,2))0信息熵是可以度量不确定,信息熵越大不确定性越大。
图
说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Python 机器学习的利器(F)
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Python 机器学习的利器(F)