一、网页查看
进入网页模板
多页爬取
二、网页爬取数据分析
三、代码分析
数据爬取部分
# 使用etree进行数据解析tree = etree.HTML(page_text)#参考图1,使用xpath语法根据id定位,定位后拿到下面的所有div标签下的a标签的href属性#所有详情页urla_list = tree.xpath("//div[@id='container']//div/a/@href")#遍历详情页urlfor a_li in a_list:# 发起详情页请求moban_data = requests.get(url=a_li, headers=headers)moban_data.encoding = "utf-8"#解析网页tree2 = etree.HTML(moban_data.text)#下载的url,参考图2rar_down = tree2.xpath("//div[@class='downbody']//div[@class='dian'][2]/a[1]/@href")#网页模板名称,参考图3rar_name = tree2.xpath("//div[@class='text_wrap']/h2/a/text()")[0]#rar_down是一个列表DownRar(rar_down[0], rar_name)
多页爬取部分
#多页爬取for i in range(1,11): #如果是第一页 if i == 1: url = "http://sc.chinaz.com/moban/index.html" #不是第一页 else: url = "http://sc.chinaz.com/moban/index_" + str(i) + ".html"
四、图片辅助分析
图1
图2
图3
五、运行结果
CSDN独家福利降临!!!
最近CSDN有个独家出品的活动,也就是下面的《Python的全栈知识图谱》,路线规划的非常详细,尺寸 是870mm x 560mm
小伙伴们可以按照上面的流程进行系统的学习,不要像我当初一样没人带自己随便找本书乱学,系统的有规律的学习,它的基础才是最扎实的,在我们这行,《基础不牢,地动山摇》尤其明显。
最后,如果有兴趣的小伙伴们可以酌情购买,为未来铺好道路!!!
博主会持续更新,有兴趣的小伙伴可以点赞、关注和收藏下哦,你们的支持就是我创作最大的动力!
本文爬虫源码已由 GitHub https://github.com/2335119327/PythonSpider 已经收录(内涵更多本博文没有的爬虫,有兴趣的小伙伴可以看看),之后会持续更新,欢迎Star。