数据解决-拉勾网职位列表和介绍-存储excel文件

智能决策上手系列教程索引

在上一篇，我们读取了数百条拉勾网关于“人工智能”职位招聘的信息，存储了数百个职位信息文件，这一篇我们提取少量有用的数据放到excel文件进行观察和整理、分析。

上一篇：网络数据抓取-拉勾网职位列表和介绍-requests案例

确定需要提取的数据

参照上一篇，我们使用下面的代码随意读取并输出一个职位数据文件xxxxx.json的数据，注意目录和文件名可能需要调整：

#cell-1import jsondef readJob(fileName):    with open(fileName,'r') as f:        job=json.load(f)        print(json.dumps(job,indent=2,ensure_ascii=False))readJob('./data/lagou_ai/jobs/2363876.json')

运行得到一个json对象，开始部分相似：

image.png

我们只提取以下几个内容：

• 职位编号positionId
• 职位名positionName
• 工作经验workYear
• 学历要求education
• 发布时间createTime
• 薪资salary
• 工作地city
• 公司名companyFullName
• 公司规模companySize
• 公司融资financeStage
• 职位分类firstType
• 职位二级分类secondType
• 职位介绍details

解决特殊字段

在上面工作经验、薪资、公司规模都是一个范围，这不太方便分析，我们把它拆开，比方薪资“15k-30k”拆分成salaryLow=15和salaryHigh=30：

#cell-0.5def range2two(s, unit):    s = s.replace(unit, '')  #去掉单位k、年、人    s = s.replace(' ', '')  #去掉空格    l = s.split('-')    res = {        'low': str(l[0]),         'high': str(l[1]) if len(l) > 1 else 'None'    }    print(res)range2two('12k-20k','k')range2two('13','k')

最后两行是测试，运行输出以下内容表示正常：

image.png

测试成功后整理代码：

#cell-0.5def range2two(s, unit):    s = s.replace(unit, '')  #去掉单位k、年、人    s = s.replace(' ', '')  #去掉空格    l = s.split('-')    res = {        'low': str(l[0]),         'high': str(l[1]) if len(l) > 1 else 'None'    }    return res

完善readJob函数，返回csv的一行字符串

修改和完善提取数据的代码,把表头分为可以直接读取的labels和需要转化的labels2：

#cell-1import jsonlabels=['positionId','positionName','workYear','education','createTime','salary','city','companyFullName','companySize','financeStage','firstType','secondType','details']labels2=['salary_low','salary_high','workYear_low','workYear_high','companySize_low','companySize_high']def readJob(fileName):    with open(fileName,'r') as f:        job=json.load(f)        line=[]        for key in labels:            line.append(str(job[key]).replace(',','，')) #增加所有labels的字段，用中文逗号替换英文逗号，避免分割混乱                    salaries=range2two(job['salary'],'k')        workYears=range2two(job['workYear'],'年')        companySizes=range2two(job['companySize'],'人')        line+=[salaries['low'],salaries['high']]        line+=[workYears['low'],workYears['high']]        line+=[companySizes['low'],companySizes['high']]                return ','.join(line)        test=readJob('./data/lagou_ai/jobs/2363876.json')print(test)

由于.csv文件使用英文逗号分割每个表格单元的，所以假如数据里面有英文逗号就会造成混乱，.replace(',','，')可以用中文逗号替换掉英文逗号，避免混乱。
最后两行是测试，注意输出结果应该有6个单独的数字：

image.png

读取并保存一个职位到csv文件

测试成功后去掉结尾test那两行。
新建一个cell编写存储.csv文件的代码：

#cell-3with open('./data/lagou_ai/jobs.csv', 'w', encoding="gb18030") as f:    text = ''    text += ','.join(labels + labels2)    text += '\n'    text += readJob('./data/lagou_ai/jobs/2363876.json')    f.write(text)    f.close()    print('>>OK!')

这将生成一个jobs.csv文件，用excel打开它可以看到有两行内容，注意检查最后几列能否正常：

image.png

读取一律职位存储到jobs.csv

首先要获得jobs文件夹下所有的文件名，而后循环操作即可以了。

#cell-3import osfiles = os.listdir('./data/lagou_ai/jobs/')  #获取所有文件列表with open('./data/lagou_ai/jobs.csv', 'w', encoding="gb18030") as f:    text = ''    text += ','.join(labels + labels2)    for fname in files:        if not fname.find('.json')==-1:             text += '\n'            text += readJob('./data/lagou_ai/jobs/' + fname)    f.write(text)    f.close()    print('>>OK!')

代码说明：

• os.listdir('./data/lagou_ai/jobs/')得到这个文件夹下所有的文件的列表，甚至包含了隐藏文件。相似['2178923982.json','237218937.json',...]
• if not fname.find('.json')==-1:假如不是xxx.json格式的文件名就不执行操作，比方对于隐藏文件就不操作。'123'.find('23')等于1，左数从0开始，第1位置上就是23，'123'.find('a')等于-1，由于根本找不到。

运行上面代码得到一个excel表，包含了数百行职位信息。

image.png

清除excel表中错误数据

我们看到其实搜索“人工智能”得到的很多职位和人工智能都不相关，甚至有很多销售、行政类的职位。
我们可以根据firstType和secondType过滤到这些错误数据，把它们直接删除。
点击excel表格列的顶端，而后【开始-排序和挑选】，升序降序任意，弹窗默认【扩展选定区域】，而后确定，相同secondType的就会排在一起，根据需要可以把“销售、经营、推广、行政”等显著有问题的职位删除掉，得到比较有效的内容。

image.png

假如只想保留secondaType是“人工智能”的职位，可以把它们一起复制剪切出来另存一个.csv表格。
假如你想用代码直接实现也可以，需要添加if job['secondtype']=='人工智能':，具体请自己试试看~

回顾总结

总体代码(主义文件夹路径)：

# coding: utf-8# ### 读取一个文件# In[16]:def range2two(s, unit):    s = s.replace(unit, '')  #去掉单位k、年、人    s = s.replace(' ', '')  #去掉空格    l = s.split('-')    res = {        'low': str(l[0]),         'high': str(l[1]) if len(l) > 1 else 'None'    }    return res# In[25]:import jsonlabels = [    'positionId', 'positionName', 'workYear', 'education', 'createTime',    'salary', 'city', 'companyFullName', 'companySize', 'financeStage',    'firstType', 'secondType', 'details']labels2 = [    'salary_low', 'salary_high', 'workYear_low', 'workYear_high',    'companySize_low', 'companySize_high']def readJob(fileName):    with open(fileName, 'r') as f:        job = json.load(f)        line = []        for key in labels:            line.append(str(job[key]).replace(',','，'))  #增加所有labels的字段，用中文逗号替换英文逗号，避免分割混乱        salaries = range2two(job['salary'], 'k')        workYears = range2two(job['workYear'], '年')        companySizes = range2two(job['companySize'], '人')        line += [salaries['low'], salaries['high']]        line += [workYears['low'], workYears['high']]        line += [companySizes['low'], companySizes['high']]        return ','.join(line)# In[37]:import osfiles = os.listdir('./data/lagou_ai/jobs/')  #获取所有文件列表with open('./data/lagou_ai/jobs.csv', 'w', encoding="gb18030") as f:    text = ''    text += ','.join(labels + labels2)    for fname in files:        if not fname.find('.json')==-1:             text += '\n'            text += readJob('./data/lagou_ai/jobs/' + fname)    f.write(text)    f.close()    print('>>OK!')

总结：

• 首先确定哪些数据需要提取
• 假如有特殊字段需要单独解决一下
• cvs是英文逗号和换行符分割组成的
• 要得到一律文件列表而后循环执行操作

智能决策上手系列教程索引

每个人的智能决策新时代

假如您发现文章错误，请不吝留言指正；
假如您觉得有用，请点喜欢；
假如您觉得很有用，欢迎转载~

END