跟着互联网的飞速发展，越来越多的数据充溢着这个时期。而猎取和处置惩罚数据就成为我们生活中必不可少的部份，爬虫也是应运而生。
浩瀚言语都能举行爬虫，但基于python的爬虫显得越发简约，轻易。爬虫也成了python言语中必不可少的一部份。
本篇解说的是什么是爬虫和爬虫的基础流程的引见，下一期将进一步深切相识爬虫的基础流程，Request和Response。
什么是爬虫？
爬虫即收集爬虫，英文是Web Spider。翻译过来就是收集上匍匐的蜘蛛，假如把互联网看做一张大网，那末爬虫就是在大网上爬来爬去的蜘蛛，遇到想要的食品，就把他抓取出来。
我们在阅读器中输入一个网址，敲击回车，看到网站的页面信息。这就是阅读器要求了网站的服务器，猎取到收集资源。那末，爬虫也相当于模仿阅读器发送要求，获获得HTML代码。HTML代码里一般包括了标签和笔墨信息，我们就从中提取到我们想要的信息。
一般爬虫是从某个网站的某个页面最先，爬取这个页面的内容，找到网页中的其他链接地点，然后从这个地点爬到下一个页面，如许一向不断的爬下去，进去批量的抓取信息。那末，我们能够看出收集爬虫就是一个不断爬取网页抓取信息的顺序。
爬虫的基础流程：
1.提议要求：
经由历程HTTP库向目的站点提议要求，即发送一个Request，要求能够包括分外的headers等信息，然后守候服务器相应。这个要求的历程就像我们翻开阅读器，在阅读器地点栏输入网址：www.baidu.com，然后点击回车。这个历程实在就相当于阅读器作为一个阅读的客户端，向服务器端发送了 一次要求。
2.猎取相应内容：
假如服务器能一般相应，我们会获得一个Response，Response的内容就是所要猎取的内容，范例可能有HTML、Json字符串，二进制数据(图片，视频等）等范例。这个历程就是服务器吸收客户端的要求，进过剖析发送给阅读器的网页HTML文件。
3.剖析内容：
获得的内容多是HTML，能够运用正则表达式，网页剖析库举行剖析。也多是Json，能够直接转为Json对象剖析。多是二进制数据，能够做保留或许进一步处置惩罚。这一步相当于阅读器把服务器端的文件猎取到当地，再举行诠释而且展示出来。
4.保留数据：
保留的体式格局能够是把数据存为文本，也能够把数据保留到数据库，或许保留为特定的jpg，mp4 等花样的文件。这就相当于我们在阅读网页时，下载了网页上的图片或许视频。
以上就是什么是爬虫和爬虫的基础流程的细致内容，更多请关注ki4网别的相干文章！
