Python 中文词频分析——红楼梦人物出场次数
本篇文档,带大家用Python做一下词频统计
本章需要用到Python的jieba模块
jieba模块是一个经典的用于中文分词的模块
首先呢 我们需要读取文章的内容,并用jieba库的lcut进行分词
import jieba# 读取红楼梦的文本内容txt = open('红楼梦.txt', 'r', encoding='utf-8').read()# 运用jieba库对文本内容进行分词words = jieba.lcut(txt)而后 我们去统计人名的出现次数
这里需要分析什么词语是人名,我们去创立一个文档,当做字典存储人名信息
人名还会有其余的表示,我们将它转化成一样的名字
# 初始化count字典 用于存放人名出现频率counts = {}# 读取红楼梦人名信息names = open('人名.txt', 'r', encoding='utf-8').read().split('、')# 对分词数据进行挑选 将不需要的数据跳过 只保存有效数据for word in words: if len(word) == 1: continue elif word == '贾母' or word == '老太太': word = '贾母' elif word in '贾珍—尤氏'.split('—'): word = '贾珍' elif word in '贾蓉—秦可卿'.split('-'): word = '贾蓉' elif word in '贾赦—邢夫人'.split('-'): word = '贾赦' elif word in '贾政—王夫人'.split('-'): word = '贾政' elif word in '袭人-蕊珠'.split('-'): word = '袭人' elif word in '贾琏—王熙凤'.split('-'): word = '贾琏' elif word in '紫鹃-鹦哥'.split('-'): word = '紫鹃' elif word in '翠缕-缕儿'.split('-'): word = '翠缕' elif word in '香菱-甄英莲'.split('-'): word = '香菱' elif word in '豆官-豆童'.split('-'): word = '豆官' elif word in '薛蝌—邢岫烟'.split('-'): word = '薛蝌' elif word in '薛蟠—夏金桂'.split('-'): word = '薛蟠' elif word in '贾宝玉-宝玉'.split('-'): word = '贾宝玉' elif word in '林黛玉-林姑娘-黛玉'.split('-'): word = '林黛玉' if word not in names: continue counts[word] = counts.get(word, 0)+1最后我们将数据排序整理一下
# 将人名按照次数排序 降序items = list(counts.items())# 排序规则 以次数为参考进行排序items.sort(key=lambda x: x[1], reverse=True)完整代码如下:
import jieba# 读取红楼梦的文本内容txt = open('红楼梦.txt', 'r', encoding='utf-8').read()# 运用jieba库对文本内容进行分词words = jieba.lcut(txt)# 初始化count字典 用于存放人名出现频率counts = {}# 读取红楼梦人名信息names = open('人名.txt', 'r', encoding='utf-8').read().split('、')# 对分词数据进行挑选 将不需要的数据跳过 只保存有效数据for word in words: if len(word) == 1: continue elif word == '贾母' or word == '老太太': word = '贾母' elif word in '贾珍—尤氏'.split('—'): word = '贾珍' elif word in '贾蓉—秦可卿'.split('-'): word = '贾蓉' elif word in '贾赦—邢夫人'.split('-'): word = '贾赦' elif word in '贾政—王夫人'.split('-'): word = '贾政' elif word in '袭人-蕊珠'.split('-'): word = '袭人' elif word in '贾琏—王熙凤'.split('-'): word = '贾琏' elif word in '紫鹃-鹦哥'.split('-'): word = '紫鹃' elif word in '翠缕-缕儿'.split('-'): word = '翠缕' elif word in '香菱-甄英莲'.split('-'): word = '香菱' elif word in '豆官-豆童'.split('-'): word = '豆官' elif word in '薛蝌—邢岫烟'.split('-'): word = '薛蝌' elif word in '薛蟠—夏金桂'.split('-'): word = '薛蟠' elif word in '贾宝玉-宝玉'.split('-'): word = '贾宝玉' elif word in '林黛玉-林姑娘-黛玉'.split('-'): word = '林黛玉' if word not in names: continue counts[word] = counts.get(word, 0)+1# 将人名按照次数排序 降序items = list(counts.items())# 排序规则 以次数为参考进行排序items.sort(key=lambda x: x[1], reverse=True)# print(items)print('出现次数最多的是:', items[0][0], '出现了:', items[0][1], '次')print('出现次数最少的是:', items[-1][0], '出现了:', items[-1][1], '次')for item in items: print(item[0], '出现了:', item[1], '次')效果图如下:
image.png
免费领取python资料
python知识分享
说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Python 中文词频分析——红楼梦人物出场次数
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Python 中文词频分析——红楼梦人物出场次数