Python3获取拉勾网招聘信息

为了理解跟python数据分析有关行业的信息，大概地理解一下对这个行业的要求以及薪资状况，我决定从网上获取信息并进行分析。既然想要分析就必需要有数据，于是我选择了拉勾，冒着危险深入内部，从他们那里得到了信息。不得不说，拉勾的反爬技术还挺厉害的，稍后再说明。话不多说，直接开始。

一、 明确目的

每次爬虫都要有明确的目的，刚接触随意找东西试水的除外。我想要知道的是python数据分析的要求以及薪资状况，因而，薪资、学历、工作经验以及少量任职要求就是我的目的。

既然明确了目的，我们就要看一下它们在什么位置，所以我们打开浏览器，寻觅目标。像拉勾这种网站他们的信息一般都是通过ajax加载的，而且在输入“python数据分析”敲击回车之后跳转的页面，招聘信息不是一开始就显示出来的，通过点击页码也只是招聘信息在变化甚至连network都没多大变化，可以大胆猜测他是通过post请求的，所以我们只关注post请求以及XHR文件，很快就发现了我们要的东西。

image

点击preview可见详细信息以json形式保存着，其中‘salary’、‘workYear’、‘education’、‘positionID’（招聘信息介绍页有关的id）是我们要的。再观察一下它的form data，其中kd=关键字，pn=pageNum（页码）这是我们请求的时候要带上的参数。另外我们要注意请求头的referer参数，待会儿要用。知道了目标之后，爬起来！

Python学习群：556370268，有大牛答疑，有资源共享！是一个非常不错的交流基地！欢迎喜欢Python的小伙伴！

二、 开始爬虫

先设置请求头headers，把平常用的user-agent带上，再把formdata也带上，用requests库直接requests.post(url, headers=headers, data=formdata)，而后就开始报错了：{“status”:false,”msg”:”您操作太频繁,请稍后再访问”,”clientIp”:”……”,”state”:2402}。

处理这个问题的关键在于，理解 拉勾的反爬机制 ：在进入python数据分析招聘页之前，我们要在主页，不妨叫它start_url输入关键字跳转。在这个过程中，服务器会传回来一个cookies，假如带着这个 cookies 请求的话我们即可以得到要的东西，所以要先请求start_url获取cookies在请求目标url，而且在请求目标地址的话还要带上referer这个请求头参数， referer 的含义大概是这样：告诉服务器我是从哪个页面链接过来的，服务器基此可以取得少量信息用于解决。另外，睡眠时间也要设置的长一点，不然很容易被封。知道了反爬机制之后，话不多说，直接上代码。

'''@author: Max_LyuCreate time: 2019/4/1url:  MaxLyu/Lagou_Analyze''' # 请求起始 url 返回 cookies def get_start_url(self): session = requests.session() session.get(self.start_url, headers=self.headers, timeout=3) cookies = session.cookies return cookies # 将返回的 cookies 一起 post 给 target_url 并获取数据 def post_target_url(self): cookies = self.get_start_url() pn = 1 for pg in range(30): formdata = { 'first': 'false', 'pn': pn, 'kd': 'python数据分析' } pn += 1 response = requests.post(self.target_url, data=formdata, cookies=cookies, headers=self.headers, timeout=3) self.parse(response) time.sleep(60) # 拉勾的反扒技术比较强，短睡眠时间会被封 # 解析 response，获取 items def parse(self, response): print(response) items = [] print(response.text) data = json.loads(response.text)['content']['positionResult']['result'] if len(data): for i in range(len(data)): positionId = data[i]['positionId'] education = data[i]['education'] workYear = data[i]['workYear'] salary = data[i]['salary'] list = [positionId, education, workYear, salary] items.append(list) self.save_data(items) time.sleep(1.3)

其中save_data(items)是保存文件，我是保存在csv文件。篇幅有限，这里就不展现了。

三、 获取招聘介绍

上面说了positionID 是为了获取介绍页，介绍页里面有要的任职要求。这个要获取就相对容易了，不过文本的解决并没有很简单，我只能通过“要求”这两个字获取任职要求（尽管有的为任职技能啥的，就这样进行取舍了）。

'''@author: Max_LyuCreate time: 2019/4/1url:  MaxLyu/Lagou_Analyze'''def get_url(): urls = [] with open("analyst.csv", 'r', newline='') as file: # 读取文件 reader = csv.reader(file) for row in reader: # 根据 positionID 补全 url if row[0] != "ID": url = "https://www.lagou.com/jobs/{}.html".format(row[0]) urls.append(url) file.close() return urls# 获取详细信息def get_info(): urls = get_url() length = len(urls) for url in urls: print(url) description = '' print(length) response = requests.get(url, headers=headers) response.encoding = 'utf-8' content = etree.HTML(response.text) detail = content.xpath('//*[@id="job_detail"]/dd[2]/div/p/text()') print(detail) for i in range(1, len(detail)): if '要求' in detail[i-1]: for j in range(i, len(detail)): detail[j] = detail[j].replace('\xa0', '') detail[j] = re.sub('[、;；.0-9。]', '', detail[j]) description = description + detail[j] + '/' print(description) write_file(description) length -= 1 time.sleep(3)

四、 成果与展现

imageimage