一、所需学问
须要的学问有：linux体系 + Python言语 +Scrapy框架 + XPath（XML途径言语） + 一些辅助东西（浏览器的开辟者东西和XPath helper插件）。
我们的爬虫是运用Python言语的Scrapy爬虫框架开辟，在linux上运转，所以须要熟练掌握Python言语和Scrapy框架以及linux操作体系的基本学问。
我们须要运用XPath从目的HTML页面中提取我们想要的东西，包含汉语笔墨段落和“下一页”的链接等。
浏览器的开辟者东西是编写爬虫重要运用的辅助东西。运用该东西可以剖析页面链接的规律，可以用来定位HTML页面中想要提取的元素，然后提取其XPath表达式用于爬虫代码中，还可以检察页面要求头的Referer、Cookie等信息。假如爬取的目的是动态网站，该东西还可以剖析出背地的JavaScript要求。
XPath helper插件是chrome的一个插件，基于chrome核的浏览器也可以装置。XPath helper可以用来调试XPath表达式。
二、环境搭建
装置Scrapy可以运用pip敕令：pip install Scrapy
Scrapy相干依靠较多，因此在装置过程当中能够碰到以下题目：
ImportError: No module named w3lib.http
处置惩罚：pip install w3lib
ImportError: No module named twisted
处置惩罚：pip install twisted
ImportError: No module named lxml.HTML
处置惩罚：pip install lxml
error: libxml/xmlversion.h: No such file or directory
处置惩罚：apt-get install libxml2-dev libxslt-dev
apt-get install Python-lxml
ImportError: No module named cssselect
处置惩罚：pip install cssselect
ImportError: No module named OpenSSL
处置惩罚：pip install pyOpenSSL
发起：
运用简朴的要领：运用anaconda装置。
三、Scrapy框架
1. Scrapy简介
Scrapy是赫赫有名的爬虫框架，是运用Python编写的。Scrapy可以很轻易的举行web抓取，而且也可以很轻易的依据本身的需求举行定制。
Scrapy团体架构大抵以下：
2.Scrapy组件
Scrapy重要包含了以下组件：
引擎(Scrapy)
用来处置惩罚全部体系的数据流,触发事件(框架中心)。
调理器(Scheduler)
用来接收引擎发过来的要求,压入行列中, 并在引擎再次要求的时刻返回. 可以想像成一个URL（抓取网页的网址或许说是链接）的优先行列, 由它来决议下一个要抓取的网址是什么, 同时去除反复的网址。
下载器(Downloader)
用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模子上的) 。
爬虫(Spiders)
爬虫是重要干活的, 用于从特定的网页中提取本身须要的信息, 即所谓的实体(Item)。用户也可以从中提掏出链接,让Scrapy继承抓取下一个页面。
项目管道(Pipeline)
负责处置惩罚爬虫从网页中抽取的实体，重要的功用是耐久化实体、考证实体的有效性、消灭不须要的信息。当页面被爬虫剖析后，将被发送到项目管道，并经由几个特定的序次处置惩罚数据。
下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间的框架，重如果处置惩罚Scrapy引擎与下载器之间的要求及相应。
爬虫中间件(Spider Middlewares)
介于Scrapy引擎和爬虫之间的框架，重要事情是处置惩罚蜘蛛的相应输入和要求输出。
调理中间件(Scheduler Middewares)
介于Scrapy引擎和调理之间的中间件，从Scrapy引擎发送到调理的要乞降相应。
Scrapy运转流程：
1.引擎从调理器中掏出一个链接(URL)用于接下来的抓取
2.引擎把URL封装成一个要求(Request)传给下载器
3.下载器把资本下载下来，并封装成应对包(Response)
4.爬虫剖析Response
5.剖析出实体（Item）,则交给实体管道举行进一步的处置惩罚
6.剖析出的是链接（URL）,则把URL交给调理器守候抓取
以上就是壮大的爬虫框架Scrapy是什么？的细致内容，更多请关注ki4网别的相干文章！
