什么是爬虫技术

网络爬虫是一种很好的自动采集数据的通用手段。本文将会对爬虫的类型进行介绍。

聚焦网络爬虫是“面向特定主题需求”的一种爬虫程序，而通用网络爬虫则是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分，主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

增量抓取意即针对某个站点的数据进行抓取，当网站的新增数据或者该站点的数据发生变化后，自动地抓取它新增的或者变化后的数据。

Web页面按存在方式可以分为表层网页（surface Web）和深层网页（deep Web，也称invisible Web pages或hidden Web）。

表层网页是指传统搜索引擎可以索引的页面，即以超链接可以到达的静态网页为主来构成的Web页面。

深层网页是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的Web页面。

爬虫中间件（Spider Middleware）：位于Scrapy引擎和爬虫之间的框架，主要用于处理爬虫的响应输入和请求输出。

调度器中间件（Scheduler Middleware）：位于Scrapy引擎和调度器之间的框架，主要用于处理从Scrapy引擎发送到调度器的请求和响应。

调度器：用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。它就像是一个URL的优先队列，由它来决定下一个要抓取的网址是什么，同时在这里会去除重复的网址。

下载器中间件（Downloader Middleware）：位于Scrapy引擎和下载器之间的框架，主要用于处理Scrapy引擎与下载器之间的请求及响应。代理IP和用户代理可以在这里设置。

下载器：用于下载网页内容，并将网页内容返回给爬虫。

Scrapy引擎（ScrapyEngine）：用来控制整个系统的数据处理流程，并进行事务处理的触发。

爬虫：爬虫主要是干活的，用于从特定网页中提取自己需要的信息，即所谓的项目（又称实体）。也可以从中提取URL，让Scrapy继续爬取下一个页面。

项目管道：负责处理爬虫从网页中爬取的项目，主要的功能就是持久化项目、验证项目的有效性、清除不需要的信息。当页面被爬虫解析后，将被送到项目管道，并经过几个特定的次序来处理其数据。

XPath是一门用来在XML文件中选择节点的语言，也可以用在HTML上。CSS是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。