爬虫手艺能够爬https么【Python教程】,https
作者:搜教程发布时间:2019-11-27分类:Python教程浏览:31评论:0
导读:爬虫手艺能够爬https么?起首我们先来明白什么是httpshttps是HTTP+SSL的简称,是在HTTP传输体式格局的基本大将之前的明文进行了加密传输,在传输之...

爬虫手艺能够爬https么?
起首我们先来明白什么是https
https是HTTP+SSL的简称,是在HTTP传输体式格局的基本大将之前的明文进行了加密传输,在传输之前就会肯定信息加密体式格局和秘钥,在传输中纵然被捕捉或许捏造,那末也能保证信息不被泄漏。
而爬虫实质是伪装成一个浏览器,发送要求给服务器,介入了全部历程,所以纵然https链接也能抓取,但条件是捏造的这个客户端有准确的SSL证书。
寻觅毛病泉源
爬虫运转中提醒SSL error毛病的状况,平常是当地证书或许相干SSL库没有准确装置、服务器运用本身制造的CA证书,没有有权威机构认证
处理证书非常题目
关于CA证书题目我们能够参考下面集合计划:
1.不考证CA证书,但要疏忽平安正告
coding=utf-8import requests# 不考证CA证书则须要疏忽平安正告体式格局一:import urllib3urllib3.disable_warnings()体式格局二:from requests.packages.urllib3.exceptions import InsecureRequestWarningrequests.packages.urllib3.disable_warnings(InsecureRequestWarning)r=requests.get(url=“https://www.baidu.com/”,verify=False)print r.elapsed.total_seconds()
2.指定证书位置或含证书的文件夹(此文件夹是由OpenSSL东西制造的)
coding=utf-8import requestsr=requests.get(url=“https://www.baidu.com/”,verify='/path/to/certfile')
以上就是爬虫手艺能够爬https么的细致内容,更多请关注ki4网别的相干文章!
标签:https
相关推荐
你 发表评论:
欢迎- Python教程排行
-
- 1python数据类型有哪几种?_Python教程,python
- 2pycharm中文版界面如何设置?_Python教程,pycharm
- 3python如何批量处理excel数据?_Python教程,python,excel数据
- 4python中range()函数怎么用_Python教程,python,range,用法
- 5python三个数从小到大排序_Python教程,python,三个数,排序
- 6python全局变量和局部变量的区别_Python教程,python,全局变量,局部变量
- 7python内置的集成开发工具是什么_Python教程,python,集成开发环境,工具
- 8python针对Excel表格的操作_Python教程,python,excel
- 9学Python拿mac还是windows?_Python教程,python,mac,windows
- 最新文章
- 广而告之