什么是网络爬虫？
网络爬虫是一个自动提取网页的顺序，它为搜刮引擎从万维网上下载网页，是搜刮引擎的主要构成。传统爬虫从一个或多少初始网页的URL最先，取得初始网页上的URL，在抓取网页的过程当中，不停从当前页面上抽取新的URL放入行列,直到满足体系的肯定住手前提
爬虫有什么用？
做为通用搜刮引擎网页网络器。（google,baidu）做垂直搜刮引擎.科学研讨：在线人类行动，在线社群演变，人类动力学研讨，计量社会学，庞杂网络，数据发掘，等范畴的实证研讨都须要大批数据，网络爬虫是网络相干数据的利器。窃视，hacking，发垃圾邮件……
爬虫是搜刮引擎的第一步也是最轻易的一步
网页汇集
竖立索引
查询排序
用什么言语写爬虫？
C，C++。高效力，疾速，合适通用搜刮引擎做全网爬取。瑕玷，开辟慢，写起来又臭又长，比方：天网搜刮源代码。
脚本言语：Perl, Python, Java, Ruby。简朴，易学，优越的文本处理能轻易网页内容的仔细提取，但效力每每不高，合适对少许网站的聚焦爬取
C#？（貌似信息管理的人比较喜好的言语）
为何终究挑选Python？
跨平台，对Linux和windows都有不错的支撑。
科学盘算，数值拟合：Numpy，Scipy
可视化：2d：Matplotlib(做图很漂亮), 3d: Mayavi2
庞杂网络：Networkx
统计：与R言语接口：Rpy
交互式终端
网站的疾速开辟
一个简朴的Python爬虫
1 import urllib
2 import urllib.request
3
4 def loadPage(url,filename):
5 """
6 作用：依据url发送要求，猎取html数据;
7 :param url:
8 :return:
9 """
10 request=urllib.request.Request(url)
11 html1= urllib.request.urlopen(request).read()
12 return html1.decode('utf-8')
13
14 def writePage(html,filename):
15 """
16 作用将html写入当地
17
18 :param html: 服务器响应的文件内容
19 :return:
20 """
21 with open(filename,'w') as f:
22 f.write(html)
23 print('-'*30)
24 def tiebaSpider(url,beginPage,endPage):
25 """
26 作用贴吧爬虫调理器，负责处理每个页面url;
27 :param url:
28 :param beginPage:
29 :param endPage:
30 :return:
31 """
32 for page in range(beginPage,endPage+1):
33 pn=(page - 1)*50
34 fullurl=url+"&pn="+str(pn)
35 print(fullurl)
36 filename='第'+str(page)+'页.html'
37 html= loadPage(url,filename)
38
39 writePage(html,filename)
40
41
42
43 if __name__=="__main__":
44 kw=input('请输入你要须要爬取的贴吧名:')
45 beginPage=int(input('请输入起始页'))
46 endPage=int(input('请输入完毕页'))
47 url='https://tieba.baidu.com/f?'
48 kw1={'kw':kw}
49 key = urllib.parse.urlencode(kw1)
50 fullurl=url+key
51 tiebaSpider(fullurl,beginPage,endPage)
以上就是为何挑选python做爬虫的细致内容，更多请关注ki4网别的相干文章！
