三体作者刘慈欣作品集数据分析——数据准备
数据分析离不开数据,所以我们的第一步就是收集数据,下载了刘慈欣的小说集进行分析
数据集:刘慈欣(《三体》作者)的小说集

先看一下数据量
压缩文件大小:

解压后所有的文本大小:

六万行文本:

分词:(使用结巴分词)
分词后的文本大小:

分词结果,179w词:

分词结果去重,5.6w:

根据结巴分词词性总结停用词,以下为结巴分词词性,来源网络,(百度搜索更全):
Ag形语素描述词性语素。描述词代码为 a,语素代码g前面置以A。
a描述词取英语描述词 adjective的第1个字母。
ad副形词直接作状语的描述词。描述词代码 a和副词代码d并在一起。
an名形词具备名词功能的描述词。描述词代码 a和名词代码n并在一起。
b区别词取汉字“别”的声母。
c连词取英语连词 conjunction的第1个字母。
dg副语素副词性语素。副词代码为 d,语素代码g前面置以D。
。。。
根据词性选出停用词:
相似词性为x的选为停用词,再从连词、介词中选择出来一部分

测评词性能否应该成为停用词的代码(将抽样的数据填入写入abstrace.log)进行评估
ce
而后汇总成停用词表
下篇继续。。。
说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 三体作者刘慈欣作品集数据分析——数据准备
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 三体作者刘慈欣作品集数据分析——数据准备