宜宾网站建设公司

Python如何使用Requests抓取包图网小视频

本篇内容介绍了“Python如何使用Requests抓取包图网小视频”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

创新互联建站专注为客户提供全方位的互联网综合服务，包含不限于网站设计、网站制作、尤溪网络推广、重庆小程序开发公司、尤溪网络营销、尤溪企业策划、尤溪品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；创新互联建站为所有大学生创业者提供尤溪建站搭建服务，24小时服务热线：18980820575，官方网址：www.cdcxhl.com

目标抓取全站视频数据保存在本地，并以网站视频名命名视频文件。

  1. 分析网页数据结构

Python如何使用Requests抓取包图网小视频
Python如何使用Requests抓取包图网小视频

经分析我们可以发现总站数据我们可以从这四这选项下手

  1. 分析网页数据格式

Python如何使用Requests抓取包图网小视频
Python如何使用Requests抓取包图网小视频

image.png

网页数据为静态

  1. 抓取下一页链接

Python如何使用Requests抓取包图网小视频

抓取下一页链接

  1. OK, 上代码!

import requests
from lxml import etree
import threading


class Spider(object):
   def __init__(self):
       self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"}
       self.offset = 1

   def start_work(self, url):
       print("正在爬取第 %d 页......" % self.offset)
       self.offset += 1
       response = requests.get(url=url,headers=self.headers)
       html = response.content.decode()
       html = etree.HTML(html)

       video_src = html.xpath('//div[@class="video-play"]/video/@src')
       video_title = html.xpath('//span[@class="video-title"]/text()')
       next_page = "http:" + html.xpath('//a[@class="next"]/@href')[0]
       # 爬取完毕...
       if next_page == "http:":
           return

       self.write_file(video_src, video_title)
       self.start_work(next_page)

   def write_file(self, video_src, video_title):
       for src, title in zip(video_src, video_title):
           response = requests.get("http:"+ src, headers=self.headers)
           file_name = title + ".mp4"
           file_name = "".join(file_name.split("/"))
           print("正在抓取%s" % file_name)
           with open(file_name, "wb") as f:
               f.write(response.content)

if __name__ == "__main__":
   spider = Spider()
   for i in range(0,3):
       # spider.start_work(url="https://ibaotu.com/shipin/7-0-0-0-"+ str(i) +"-1.html")
       t = threading.Thread(target=spider.start_work, args=("https://ibaotu.com/shipin/7-0-0-0-"+ str(i) +"-1.html",))
       t.start()

  1. 运行结果

Python如何使用Requests抓取包图网小视频
Python如何使用Requests抓取包图网小视频

是不是很简单呢！

“Python如何使用Requests抓取包图网小视频”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！


分享名称：Python如何使用Requests抓取包图网小视频
本文路径：http://hbruida.cn/article/gpjhcc.html

其他资讯