1.Jsoup简述
Java中支撑的爬虫框架有许多，比方WebMagic、Spider、Jsoup等。本日我们运用Jsoup来完成一个简朴的爬虫顺序。
Jsoup具有非常轻易的api来处置惩罚html文档，比方参考了DOM对象的文档遍历要领，参考了CSS选择器的用法等等，因而我们能够运用Jsoup疾速地控制爬取页面数据的技能。
2.疾速最先
1)编写HTML页面
页面中表格的商品信息是我们要爬取的数据。个中属性pname类的商品名称，以及属于pimg类的商品图片。
2)运用HttpClient读取HTML页面
HttpClient是一个处置惩罚Http协定数据的东西，运用它能够将HTML页面作为输入流读进java顺序中。能够从http://hc.apache.org/下载HttpClient的jar包。
3)运用Jsoup剖析html字符串
经由过程引入Jsoup东西，直接挪用parse要领来剖析一个形貌html页面内容的字符串来取得一个Document对象。该Document对象以操纵DOM树的体式格局来取得html页面上指定的内容。相干API能够参考Jsoup官方文档：https://jsoup.org/cookbook/
下面我们运用Jsoup来猎取上述html中指定的商品名称和价钱的信息。
至此，我们已完成运用HttpClient+Jsoup爬取HTML页面数据的功用。接下来，我们让结果更直观一些，比方将爬取的数据存到数据库中，将图片存到服务器上。
3.保留爬取的页面数据
1)保留一般数据到数据库中
将爬取的数据封装进实体Bean中，并存到数据库内。
2)保留图片到服务器上
直接经由过程下载图片的体式格局将图片保留到服务器当地。
4.总结
本案简朴完成了运用HttpClient+Jsoup爬取收集数据，关于爬虫手艺自身，另有许多值得深挖的处所，今后再为人人解说。
以上就是运用Jsoup完成爬虫手艺的要领引见的细致内容，更多请关注ki4网别的相干文章！
