Python 机器学习的利器(F)

作者 : 开心源码 本文共977个字,预计阅读时间需要3分钟 发布时间: 2022-05-13 共257人阅读

图

在生活少不了决策,大大小小的决策充满了我们的生活,也决定了我们成长的轨迹。我们花在选择和决策上时间和精力也不少。

图

详情对象我想每个人都经历过,为了给你留下美好回忆,在能否决定相见前,我们会问详情人一系列问题,这些问题帮助我们做出能否见对方的决定。首先我们会问年龄,假如满足我们继续讯问,知道的到结论跳出讯问做出决定。

决策树

为了要将表格转为一棵树,在决策树中每一个结点表示特征,每一条连线表示决策规则,叶节点表示输出。

评价决策树好快

不纯度越低决策树的拟合度就越好

决策树的特征选择算法

决策树学习的关键在于选择最优的划分属性,所谓最优划分属性,对于二元分类而言,就是尽量使用划分的样本同属于一类别。

问题

  1. 简述决策树的基本原理
    通过一系列问题(分类规则)后来判断数据的分类
  2. 简述如何构建决策树
    信息增益率有什么优缺点
    如何对决策树进行剪裁

决策树的算法

  • 70 年代后期至 80 年代,Quinlan 提出了 ID3 算法
  • Quinlan 改进 ID3 算法,称为 C4.5 算法
  • 1984 年,多位统计科学家提出了 CART 算法

什么是决策树

是一个相似流程图的树结构,树上每一个节点表示对属性上的测试,每一个分支代表一个属性输出,每一树叶节点代表类或者类分布

什么样数据适合决策树

比较适合分析离散数据。假如数据是连续要先转为离散数据再做分析

熵(entropy)概念

1948 年,香农提出了信息熵的概念
一条信息的信息量大小和他的不确定性有直接的关系,要搞清楚一件非常不确定的事情,需要大量信息,信息量的度量就是等于不确定性的多少。

信息熵计算

信息熵公式

一个普通骰子 假如 1-6 的概率都是 1/6

import matha = -(1.0/6.0 * math.log((1.0/6.0),2))*6.0print(a)
2.58496250072

第二种骰子,投掷 6 的概率 50%,投掷 1 – 5 概率为 10% 的情况进行计算,5 种情况为 10% 而 50% 为 6 一种情况,乘以 5 是对这几种情况进行求和

-(1.0/10.0 * math.log(1.0/10.0,2) * 5.0) - 1.0/2.0 * math.log(1.0/2.0,2)

有 5 骰子的概率为 10% ,

2.1609640474436813

投掷 6 概率是 100%,也就是说明信息熵为 0 ,表示确定性为 100%。

-(1.0 * math.log(1.0,2))
0

信息熵是可以度量不确定,信息熵越大不确定性越大。

图

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Python 机器学习的利器(F)

发表回复