数据解决-过滤冗余的关键词-plotly图形化
智能决策上手系列教程索引
继续上一篇:数据解决-招聘信息-中文分词与词频统计
我们得到了很多的关键词,'算法', '学习', 'python', '熟习', '人工智能', '经验', '优先', '职位', '机器', '相关',...,其中显著的,'熟习'、'职位'、'优先'、'相关'这些词是绝对没有意义的。我们可以把它过滤掉。
假如您还没有抓取,请从这里直接下载100个json搁置职位文件 密码:tfdv
一律代码如下(注意文件目录需要修改):
#cell-1import jiebadef readDetail(fileName): with open(fileName, 'r') as f: job = json.load(f) details = job['details'].lower() details = details.replace(' ', '').replace('\xa0', '') return detailsimport os#cell-2text = ''files = os.listdir('./data/lagou_ai/jobs1000/')jobCount = 0for n in range(0, 1000): if not files[n].find('.json')==-1: details = readDetail('./data/lagou_ai/jobs1000/' + files[n]) if details.find('python') != -1 or details.find('tensorflow') != -1: jobCount += 1 text += detailsprint('>>Got jobs:', jobCount)#cell-3import jieba.analyseimport pandas as pdresult=[]for word, weight in jieba.analyse.extract_tags(text, topK=100, withWeight=True): result.append(word) print(result)去掉冗余单词
上面代码可以输出所有的关键词数组。我们复制它,把多余的单词删除。比方我选了28个:
mylist = [ '算法', 'python', '经验', '机器', '深度', 'java', 'c++', '数据挖掘', '自然语言', '编程','数据分析', '数学', 'linux', 'nlp', 'tensorflow', 'spark', '文本', '硕士', 'hadoop', 'caffe', '视觉', '本科', '语音', '语义', '问题', '神经网络', '数据结构', '图像']我们增加两个列表用于存放words和weights,修改cell-3代码如下:
import jieba.analyseimport pandas as pdkeywords = []weights=[]mylist = [ '算法', 'python', '经验', '机器', '深度', 'java', 'c++', '数据挖掘', '自然语言', '编程', '数据分析', '数学', 'linux', 'nlp', 'tensorflow', 'spark', '文本', '硕士', 'hadoop', 'caffe', '视觉', '本科', '语音', '语义', '问题', '神经网络', '数据结构', '图像']for word, weight in jieba.analyse.extract_tags( text, topK=100, withWeight=True): if word in mylist: keywords.append(word) weights.append(weight)print(keywords,weights)运行后可以输出两个列表['算法', 'python', '经验', '机器', ...] [0.16280807037359346, 0.09640941534596774, ...
使用图表展现
我们使用图形化插件plotly,plot英文是绘制图表的意思,官方站点帮助文档点这里。
命令行安装:
conda install -f plotly而后我们添加一个cell-4,使用下面代码:
#cell-4import plotlyimport plotly.graph_objs as goplotly.offline.init_notebook_mode(connected=False)plotly.offline.iplot({ "data": [go.Scatter(x=keywords, y=weights)], "layout": go.Layout(title="拉勾网人工智能职业关键词分布")})几点说明:
- 我们使用的是offline版本,plotly默认是online在线版本,你需要到它的官网注册账号进行设置等等,麻烦少量,但也可以取得更强大功能。
- 另外,这里使用的是
iplot(...)而不是很多教程中看到的plot(...),这是由于我们需要在Jupyter Notebook中直接显示图表。 - go是graph object绘图对象的意思,go.Scatter是绘制折线图,x和y是横向和竖向的坐标list列表。
运行后得到下图(假如你的没有出现图而是出现一块空白,请尝试刷新页面再试):
image.png
改为柱状图
略微调整一下,用go.Bar我们即可以换为更容易了解的柱状图:
import plotlyimport plotly.graph_objs as goplotly.offline.init_notebook_mode(connected=False)plotly.offline.iplot({ "data": [go.Bar(x=keywords, y=weights)], "layout": go.Layout(title="拉勾网人工智能职业关键词分布")})输出得到:
image.png
合并同类词义
我们注意到自然语言和nlp其实是一回事, 文本、语义也和它们直接相关;另外深度(学习)和神经网络也基本一个意思,同样的还有数据分析和数据挖掘,图像和视觉,我们把它们合并一下。
在上面增加一个新的cell-3.5,代码如下:
def mergeItem(wd1,wd2): newkey=wd1+'+'+wd2 n1=keywords.index(wd1) keywords[n1]=newkey n2=keywords.index(wd2) weights[n1]=weights[n1]+weights[n2] del weights[n2] del keywords[n2] return newkeymergeItem('神经网络','深度')mergeItem('数据分析','数据挖掘')mergeItem('图像','视觉')a=mergeItem('自然语言','nlp')a=mergeItem(a,'文本')a=mergeItem(a,'语义')mergeItem的思路是先找到两个单词在列表中的位置n1,n2,而后做单词拼合或者者数字加法,最后再把第二个单词删除。
从cell-3开始往下运行(或者者一律运行),得到如下图:
image.png
重新排序
上这个图的顺序有些乱,我们需要重新拍了一下。
在图表cell-4前面增加cell-3.8
comb=zip(keywords,weights)def comp(item): return item[1]comb=sorted(comb,reverse=True,key=comp)keywords=[v for v,_ in comb]weights=[v for _,v in comb]这个代码尽管少但是比较难说明:
- 首先我们有keywords和weights两个数组,顺序逐个对应,我们不能随意的把它们单独排序,那就乱掉了。
zip方法是把两个数组合并成一个由元组构成的新数组,举个例子就是comb=zip(['a','b'],[1,2])就得到了comb是[('a',1),('b',2)],可以用下面代码测试这个效果:a=['a','b'] b=[1,2] c=zip(a,b) for m in c: print(m)sorted(...)可以对元组构成的列表进行排序,它不仅可以把[('a',10),('b',8)]排成[('b',8),('a',10)],甚至能排[('a',9,100),('b',2,300)]这样的三维元组数组。- 那么问题来了,两维元组或者者三维元组要排序,先参照第一个元素排呢?第一个a或者b,第二个9或者10,第三个100或者300?能不能直接按照第二个排呢?
sorted(...,key=...)这个key就是优先参照的元素,但要用一个函数comb来表示,这个函数接受一个参数def comb(item),返回一个元素return item[1]。- 排完序还要把
[('a',1),('b',2)]拆解成['a','b'],[1,2],我们用了一个简写的for循环[v for v,_ in comb]直接返回了comb中每个元组的第一个元素。v,_是只取第一个,忽略第二个,同理,_,v是只取第二个,忽略第一个。[关于下划线更多用法看这里](Python中下划线的作用-_.
从cell-3重新往下运行所有代码,得到如下图:
image.png
关于lambada
单独定义的函数def comb(...)还可以用lambada简写
def comp(item): return item[1]comb=sorted(comb,reverse=True,key=comp)合并为
comb=sorted(comb,reverse=True,key=lambda k:k[1])从上面看出,lambda 参数:返回值,对应于def hanshu(参数):return 返回值这样的格式。
一律代码
下面是一律代码:
#cell-1 定义读取文件方法import jiebadef readDetail(fileName): with open(fileName, 'r') as f: job = json.load(f) details = job['details'].lower() details = details.replace(' ', '').replace('\xa0', '') return details#cell-2 读取一律文件import ostext = ''files = os.listdir('./data/lagou_ai/jobs1000/')jobCount = 0for n in range(0, 1000): if not files[n].find('.json')==-1: details = readDetail('./data/lagou_ai/jobs1000/' + files[n]) if details.find('python') != -1 or details.find('tensorflow') != -1: jobCount += 1 text += detailsprint('>>Got jobs:', jobCount)#cell-3 关键词提取和去除冗余import jieba.analyseimport pandas as pdkeywords = []weights=[]mylist = [ '算法', 'python', '经验', '机器', '深度', 'java', 'c++', '数据挖掘', '自然语言', '编程', '数据分析', '数学', 'linux', 'nlp', 'tensorflow', 'spark', '文本', '硕士', 'hadoop', 'caffe', '视觉', '本科', '语音', '语义', '问题', '神经网络', '数据结构', '图像']for word, weight in jieba.analyse.extract_tags( text, topK=100, withWeight=True): if word in mylist: keywords.append(word) weights.append(weight)print(keywords,weights)#cell-3.5 合并同类词def mergeItem(wd1,wd2): newkey=wd1+'+'+wd2 n1=keywords.index(wd1) keywords[n1]=newkey n2=keywords.index(wd2) weights[n1]=weights[n1]+weights[n2] del weights[n2] del keywords[n2] return newkeymergeItem('神经网络','深度')mergeItem('数据分析','数据挖掘')mergeItem('图像','视觉')a=mergeItem('自然语言','nlp')a=mergeItem(a,'文本')a=mergeItem(a,'语义')#cell-3.8 重新排序comb=zip(keywords,weights)comb=sorted(comb,reverse=True,key=lambda k:k[1])keywords=[v for v,_ in comb]weights=[v for _,v in comb]#cell-4 绘图视觉化import plotlyimport plotly.graph_objs as goplotly.offline.init_notebook_mode(connected=False)plotly.offline.iplot({ "data": [go.Bar(x=keywords, y=weights)], "layout": go.Layout(title="拉勾网人工智能职业关键词分布")})智能决策上手系列教程索引
每个人的智能决策新时代
假如您发现文章错误,请不吝留言指正;
假如您觉得有用,请点喜欢;
假如您觉得很有用,欢迎转载~
END
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 数据解决-过滤冗余的关键词-plotly图形化