java爬虫之webmagic详情

作者 : 开心源码 本文共6454个字,预计阅读时间需要17分钟 发布时间: 2022-05-13 共165人阅读

前言

  在自学了少量关于java爬虫的东西之后,我终于正式的接触了webmagic。这个东西怎样说呢?的确是没有jsoup那么好用,这玩意儿科不是轻量级的,由于要使用这个东西需要学更多的东西.例如:xpath语法,xpath轴,正则表达式(这个东西在好多语言中也都存在,但是在这个工具中使用我的确是没想到的,我没想到它还能用来匹配网址),调度语法等等.


开搞

1.开源框架webmagic
  webmagic是一个开源的Java爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。

  webmagic的主要特色:
   完全模块化的设计,强大的可扩展性。
   核心简单但是涵盖爬虫的一律流程,灵活而强大,也是学习爬虫入门的好材料。
   提供丰富的抽取页面API。
   无配置,但是可通过POJO+注解形式实现一个爬虫。
   支持多线程。
   支持分布式。
   支持爬取js动态渲染的页面。
   无框架依赖,可以灵活的嵌入到项目中去。

2.架构解析
  WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现,而扩展部分则包括少量便利的、实用性的功能。扩展部分(webmagic-extension)提供少量便捷的功能,例如注解模式编写爬虫等。同时内置了少量常用的组件,便于爬虫开发。

  WebMagic的设计目标是尽量的模块化,并表现爬虫的功能特点。这部分提供非常简单、灵活的API,在基本不改变开发模式的情况下,编写一个爬虫。

  WebMagic的结构分为DownloaderPageProcessorSchedulerPipeline四大组件,并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、解决、管理和持久化等功能。而Spider则将这几个组件组织起来,让它们可以互相交互,流程化的执行,可以认为Spider是一个大的容器,它也是WebMagic逻辑的核心。

  Downloader负责从互联网上下载页面,以便后续解决。WebMagic默认使用了ApacheHttpClient作为下载工具。

  PageProcessor负责解析页面,抽取有用信息,以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具,并基于其开发理解析XPath的工具Xsoup。
在这四个组件中,PageProcessor对于每个站点每个页面都不一样,是需要使用者定制的部
分。

  Scheduler负责管理待抓取的URL,以及少量去重的工作。WebMagic默认提供了JDK的内存队列来管理URL,并用集合来进行去重。也支持使用Redis进行分布式管理。

  Pipeline负责抽取结果的解决,包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果解决方案。

3.方法详情

方法说明示例
create(PageProcessor)创立SpiderSpider.create(new GithubRepoProcessor())
addUrl(String…)增加初始的 URLspider.addUrl(“http://webmagic.io/docs/”)
thread(n)开启n个线程spider.thread(5)
run()启动,会阻塞 当前线程执行spider.run()
start()/runAsync()异步启动,当前线程继续执行spider.start()
stop()中止爬虫spider.stop()
addPipeline(Pipeline)增加一个 Pipeline,一个Spider可以有多个Pipelinespider .addPipeline(new ConsolePipeline())
setScheduler(Scheduler)设置Scheduler,一个Spider只能有个一个Schedulerspider.setScheduler(new RedisScheduler())
setDownloader(Downloader)设置Downloader,一个Spider只能有个一个Downloaderspider .setDownloader(new SeleniumDownloader())
get(String)同步调用,并直接获得结果ResultItems result = spider.get(“http://webmagic.io/docs/”)
getAll(String…)同步调用,并直接获得一堆结果List results = spider.getAll(“http://webmagic.io/docs/”,”http://webmagic.io/xxx”)

  同时Spider的其余组件(Downloader、Scheduler、Pipeline)都可以通过set方法来进行设置。

  Page代表了从Downloader下载到的一个页面——可能是HTML,也可能是JSON或者者其余文本格式的内容。Page是WebMagic抽取过程的核心对象,它提供少量方法可供抽取、结果保存等。

  Site用于定义站点本身的少量配置信息,例如编码、HTTP头、超时时间、重试策略等、代理商等,都可以通过设置Site对象来进行配置。

方法说明实例
setCharset(String)设置编码site.setCharset(“utf-8”)
setUserAgent(String)设置 UserAgentsite.setUserAgent(“Spider”)
setTimeOut(int)设置超时时间, 单位是毫秒site.setTimeOut(3000)
setRetryTimes(int)设置重试次数site.setRetryTimes(3)
setCycleRetryTimes(int)设置循环重试次数site.setCycleRetryTimes(3)
addCookie(String,String)增加一条cookiesite.addCookie(“dotcomt_user”,”code4craft”)
setDomain(String)设置域名,需设置域名后,addCookie才可生效site.setDomain(“github.com”)
addHeader(String,String)增加一条addHeadersite.addHeader(“Referer”,”https://github.com”)
setHttpProxy(HttpHost)设置Http代理商site.setHttpProxy(new HttpHost(“127.0.0.1”,8080))

4.Pipeline
4.1 ConsolePipeline 控制台输出

4.2 FilePipeline 文件保存

4.3 JsonFilePipelin,以json的格式存储

4.4 定制Pipeline

5.Scheduler
5.1 内存队列 使用setScheduler来设置Scheduler

5.2 文件队列 使用文件保存抓取URL,可以在关闭程序并下次启动时,从之前抓取到的URL继续抓取,创立文件夹E:\schedule

运行后文件夹E:\scheduler会产生两个文件blog.csdn.net.urls.txt和blog.csdn.net.cursor.txt

5.3 Redis队列 使用Redis保存抓取队列,可进行多台机器同时合作抓取,要运行redis服务端

6.XPath语法
6.1 选取节点:

表达式形容
nodename选取此节点的所有子节点。
/从根节点选取。
//从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
.选取当前节点。
..选取当前节点的父节点。
@选取属性。

6.2 谓语
谓语用来查找某个特定的节点或者者包含某个指定的值的节点。
谓语被嵌在方括号中

表达式含义
/bookstore/book[1]选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]选取属于 bookstore 子元素的最后一个 book元素。
/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个book 元素。
/bookstore/book[position()<3]选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’]选取所有 title 元素,且这些元素拥有值为 eng的 lang 属性。
/bookstore/book[price>35.00]选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title选取 bookstore 元素中的 book 元素的所有title 元素,且其中的 price 元素的值须大于35.00。

6.3 通配符
XPath 通配符可用来选取未知的 XML 元素,通配指定节点。

表达式形容用法说明
*匹配任何元素节点xpath(/div/*)选取div下的所有子节点
@*匹配任何属性节点xpath(/div[@*])选取所有带属性的div节点
node()匹配任何类型的节点xpath(//div[@class=’tb_cls’]).node()选择标签为div且类属性为tb_cls的所有标签

6.4 多路径选择
通过在路径表达式中使用“|”运算符,您可以选取若干个路径。

用法说明
xpath(//book/title* |*//book/price)选取 book 元素的所有 title 和 price 元素。
xpath(//title| //price)选取文档中的所有 title 和 price 元素

6.5 XPath 轴
轴可定义相对于当前节点的节点集。

表达式形容用法说明
ancestor选取当前节点的所有先辈(父、祖父等)xpath(//div[@id=’123’]/ancestor::*)选择标签为div且ID号为123的所有先辈标签
ancestoror-self选取当前节点的所有先辈(父、祖父等)以及当前节点本身xpath(//div[@id=’123’]/ancestor-orself::*)选择标签为div且ID号为123的所有先辈标签且包含自己
attribute选取当前节点的所有属性xpath(//div[@id=’123’]/attribute::class)选择标签为div且ID号为123的类属性名称选择标签
child选取当前节点的所有子元素xpath(//div[@id=’123’]/child::book)为div且ID号为123的所有子元素的为book节点
descendant选取当前节点的所有后代元素(子、孙等)xpath(./descendant::*)返回当前节点的所有后代节点(子节点、孙节点)
following选取文档中当前节点结束标签后的所有节点xpath(./following::*)选取文档中当前节点结束标签后的所有节点
parent选取当前节点的父节点xpath(./parent::*)选取当前节点的父节点
preceding选取文档中当前节点的开始标签之前的所有节点xpath(//div[@id=’123’]/preceding::*)选择标签为div且ID号为123的开始标签之前的所有节点
precedingsibling选取当前节点之前的所有同级节点xpath(//div[@id=’123’]/precedingsibling::*)选择标签为div且ID号为123的之前的所有同级节点
self选取当前节点xpath(./self::*)选取当前节点

6.6 XPath 运算符

表达式形容用法说明
+加法6 + 410
减法6 – 42
*乘法6 * 424
div除法8 div 42
=等于price=9.80假如 price 是 9.80,则返回 true。假如price 是 9.90,则返回 false。
!=不等于price!=9.80假如 price 是 9.90,则返回 true。假如price 是 9.80,则返回 false。
<小于price<9.80假如 price 是 9.00,则返回 true。假如price 是 9.90,则返回 false。
<=小于或者等于price<=9.80假如 price 是 9.00,则返回 true。假如price 是 9.90,则返回 false。
>大于price>9.80假如 price 是 9.90,则返回 true。假如price 是 9.80,则返回 false。
>=大于或者等于price>=9.80假如 price 是 9.90,则返回 true。假如price 是 9.70,则返回 false。
or或者price=9.80 or price=9.70假如 price 是 9.80,则返回 true。假如price 是 9.50,则返回 false。
andprice>9.00 and price<9.90假如 price 是 9.80,则返回 true。假如price 是 8.50,则返回 false。
mod计算除法的余数5 mod 21

6.7 常用的功能函数
使用功能函数能够更好的进行模糊搜索

表达式形容用法说明
startswith选取id值以ma开头的div节点xpath(‘//div[startswith(@id,”ma”)]‘)选取id值以ma开头的div节点
contains选取id值包含ma的div节点xpath(‘//div[contains(@id,”ma”)]‘)选取id值包含ma的div节点
and选取id值包含ma和in的div节点xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘)选取id值包含ma和in的div节点
text()选取节点文本包含ma的div节点xpath(‘//div[contains(text(),”ma”)]‘)选取节点文本包含ma的div节点

7.Selectable

方法说明示例
xpath(String xpath)使用XPath选择html.xpath(“//div[@class=’title’]”)
$(String selector)使用Css选择器选择html.$(“div.title”)
$(String selector,String attr)使用Css选择器选择html.$(“div.title”,”text”)
css(String selector)功能同$(),使用Css选择器选择html.css(“div.title”)
links()选择所有链接html.links()
regex(String regex)使用正则表达式抽取html.regex(“<div>(.*?)”)
regex(String regex,int group)使用正则表达式抽取,并指定捕获组html.regex(“<div>(.*?)”,1)
replace(String regex, String replacement)替换内容html.replace(“”,””)

返回结果

方法说明示例
get()返回一条String类型的结果String link= html.links().get()
toString()功能同get(),返回一条String类型的结果String link= html.links().toString()
all()返回所有抽取结果List links= html.links().all()
match()能否有匹配结果if (html.links().match()){ xxx; }
说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » java爬虫之webmagic详情

发表回复