Java网络爬虫基础知识

引言

Java 网络爬虫具备很好的扩展性可伸缩性，其是目前搜索引擎开发的重要组成部分。例如，著名的网络爬虫工具 Nutch 便是采使用 Java 开发，该工具以 Apache Hadoop 数据结构为依托，提供了良好的批解决支持。

Java 网络爬虫涉及到 Java 的很多知识。本篇中将会详情网络爬虫中需要理解的 Java 知识以及这些知识主要使用于网络爬虫的哪一部分，具体包括以下内容：

• Maven 的用；
• log4j 的用；
• 对象的创立；
• 集合的用；
• 正则表达式的用；
• HTTP 状态码；
• 其余。

Maven 的用

Maven 是什么

Maven 是由 Apache 软件基金会所提供一款工具，使用于项目管理及自动构建。我们知道在构建一个 Java 工程时，需要用到很多 Jar 包，例如操作数据库需要用到 mysql-connector-java 以及其相关依赖的 Jar 包。而 Maven 工具便可以很方便的对我们在项目中用到的开源 Jar 包，进行很好的管理，比方下载某 Java 工程需要的 Jar 包及相关依赖 Java 包。

Maven 如何用

Maven 用项目对象模型（Project Object Model，POM）来配置，项目对象模型存储在名为 pom.xml 的文件中。以 Java 为例，我们可以在 Eclipse 中创立一个 Maven 工程。其中，Maven Dependencies 便存放着由 Maven 管理的 Jar 包。