收集爬虫（英语：web crawler），也叫收集蜘蛛（spider），是一种用来自动阅读万维网的收集机器人。其目的平常为编辑收集索引。
收集搜刮引擎等站点经由历程爬虫软件更新本身的网站内容或其对其他网站的索引。收集爬虫可以将本身所接见的页面保留下来，以便搜刮引擎预先生成索引供用户搜刮。
爬虫接见网站的历程会斲丧目的体系资本。不少收集体系并不默许爬虫事情。因此在接见大批页面时，爬虫须要考虑到计划、负载，还须要讲“规矩”。 不愿意被爬虫接见、被爬虫主人晓得的公然站点可以运用robots.txt文件之类的要领防备接见。这个文件可以要求机器人只对网站的一部份举行索引，或完全不作处置惩罚。
互联网上的页面极多，即使是最大的爬虫体系也没法做出完全的索引。因此在公元2000年之前的万维网涌现早期，搜刮引擎常常找不到若干相干效果。如今的搜刮引擎在这方面已提高许多，可以马上给出高质量效果。
爬虫还可以考证超链接和HTML代码，用于收集抓取。
Python 爬虫
Python 爬虫架构
Python 爬虫架构重要由五个部份组成，分别是调理器、URL 管理器、网页下载器、网页剖析器、运用顺序（爬取的有价值数据）。
调理器：相当于一台电脑的 CPU，重要担任调理 URL 管理器、下载器、剖析器之间的谐和事情。
URL 管理器：包含待爬取的 URL 地点和已爬取的 URL 地点，防备反复抓取 URL 和轮回抓取 URL，完成 URL 管理器重要用三种体式格局，经由历程内存、数据库、缓存数据库来完成。
网页下载器：经由历程传入一个 URL 地点来下载网页，将网页转换成一个字符串，网页下载器有 urllib2（Python 官方基本模块）包含须要登录、代办、和 cookie，requests(第三方包)
网页剖析器：将一个网页字符串举行剖析，可以依据我们的要求来提掏出我们有效的信息，也可以依据 DOM 树的剖析体式格局来剖析。网页剖析器有正则表达式（直观，将网页转成字符串经由历程隐约婚配的体式格局来提取有价值的信息，当文档比较复杂的时刻，该要领提取数据的时刻就会异常的难题）、html.parser（Python 自带的）、beautifulsoup（第三方插件，可以运用 Python 自带的 html.parser 举行剖析，也可以运用 lxml 举行剖析，相对于其他几种来讲要强大一些）、lxml（第三方插件，可以剖析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的体式格局举行剖析的。
运用顺序：就是从网页中提取的有效数据组成的一个运用。
爬虫可以做什么？
你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只需你能经由历程阅读器接见的数据都可以经由历程爬虫猎取。
爬虫的实质是什么？
模仿阅读器翻开网页，猎取网页中我们想要的那部份数据
阅读器翻开网页的历程：
当你在阅读器中输入地点后，经由 DNS 服务器找到服务器主机，向服务器发送一个要求，服务器经由剖析后发送给用户阅读器效果，包含 html,js,css 等文件内容，阅读器剖析出来末了显现给用户在阅读器上看到的效果
所以用户看到的阅读器的效果就是由 HTML 代码组成的，我们爬虫就是为了猎取这些内容，经由历程剖析和过滤 html 代码，从中猎取我们想要资本。
相干引荐：《Python教程》
以上就是python的爬虫是什么意义的细致内容，更多请关注ki4网别的相干文章！
