Python怎样爬虫淘宝商品数据【Python教程】,Python怎么爬虫淘宝数据
作者:搜教程发布时间:2019-11-27分类:Python教程浏览:17评论:0
导读:此次的重要的目标是从淘宝的搜刮页面猎取商品的信息。实在剖析页面找到信息很轻易,页面信息的寄存都是以静态的体式格局直接嵌套的页面上的,很轻易找到。重要难题是将信息从HTML源码中...
此次的重要的目标是从淘宝的搜刮页面猎取商品的信息。实在剖析页面找到信息很轻易,页面信息的寄存都是以静态的体式格局直接嵌套的页面上的,很轻易找到。重要难题是将信息从HTML源码中剥离出来,数据和网页源码连系的很严密,剥离数据有肯定的难度。
然后将猎取的信息写入excel表格保存起来,此次只爬取了前面10页的内容。
代码以下:
import requests import re from xlwt import Workbook import xlrd import time def key_name( number ): #猎取页面的内容并返回 name = '手机' URL_1 = "https://s.taobao.com/search?ie=utf8&initiative_id=staobaoz_20170905&stats_click=search_radio_all%3A1&js=1&imgfile=&q=" URL_2 = "&suggest=0_1&_input_charset=utf-8&wq=u&suggest_query=u&source=suggest&p4ppushleft=5%2C48&s=" URL = ( URL_1 + name + URL_2 + str(number)) #print(URL) res = requests.get( URL ) return res.text def find_date( text): #依据全部页面的信息,猎取商品的数据地点的HTML源码并放回 reg = r',"data":{"spus":\[({.+?)\]}},"header":' reg = re.compile(reg) info = re.findall(reg, text) return info[0] def manipulation_data( info, N, sheet ): #剖析猎取的HTML源码,猎取数据 Date = eval(info) for d in Date: T = " ".join([t['tag'] for t in d['tag_info']]) #print(d['title'] + '\t' + d['price'] + '\t' + d['importantKey'][0:len(d['importantKey'])-1] + '\t' + T) sheet.write(N,0,d['title']) sheet.write(N,1,d['price']) sheet.write(N,2,T) N = N + 1 return N def main(): book = Workbook() sheet = book.add_sheet('淘宝手机数据') sheet.write(0,0,'品牌') sheet.write(0,1,'价钱') sheet.write(0,2,'设置') book.save('淘宝手机数据.xls') #k用于生成链接,每一个链接的末了面的数字相差48. #N用于纪录表格的数据行数,便于写入数据 k = 0 N = 1 for i in range(10+1): text = key_name( k + i * 48 ) info = find_date(text) N = manipulation_data( info ,N, sheet ) book.save('淘宝手机数据.xls') print('下载第' + str(i) + '页完成') if __name__ == '__main__': main()
更多Python相干技术文章,请接见Python教程栏目举行进修!
以上就是Python怎样爬虫淘宝商品数据的细致内容,更多请关注ki4网别的相干文章!
相关推荐
- python数据类型有哪几种?_Python教程,python
- python针对Excel表格的操作_Python教程,python,excel
- 详细分析之Python可变对象和不可变对象_Python教程,Python,可变对象,不可变对象
- 学习python 抓取知乎指定回答下视频的方法_Python教程,Python,抓取视频
- 实例解析Python单元测试及unittest框架用法_Python教程,python,单元测试,unittest框架
- Python如何使用xlrd实现读取合并单元格_Python教程,python,xlrd
- 手把手教你在python中如何使用while True语句_Python教程,python,while true
- 给大家分享一下日常学习python的心得(详解)_Python教程,python
- python如何另起一行?_Python教程,python
- 可以搜Python题答案的APP有哪些?_Python教程,Python
你 发表评论:
欢迎- Python教程排行
-
- 1python数据类型有哪几种?_Python教程,python
- 2pycharm中文版界面如何设置?_Python教程,pycharm
- 3python如何批量处理excel数据?_Python教程,python,excel数据
- 4Python中if有多个条件怎么办_Python教程,python,if,多个条件
- 5python中range()函数怎么用_Python教程,python,range,用法
- 6python三个数从小到大排序_Python教程,python,三个数,排序
- 7python全局变量和局部变量的区别_Python教程,python,全局变量,局部变量
- 8python内置的集成开发工具是什么_Python教程,python,集成开发环境,工具
- 9python针对Excel表格的操作_Python教程,python,excel
- 最新文章
- 广而告之