python如何爬取B站热门视频
这篇文章主要介绍python如何爬取B站热门视频,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
创新互联公司服务项目包括源城网站建设、源城网站制作、源城网页制作以及源城网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,源城网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到源城省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
代码如下
import requests from lxml import etree import xlwt import os # 爬取b站热门视频信息 def spider(): video_list = [] url = "https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3" html = requests.get(url, headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}).text html = etree.HTML(html) infolist = html.xpath("//li[@class='rank-item']") for item in infolist: rank = "".join(item.xpath("./div[@class='num']/text()")) video_link = "".join(item.xpath(".//div[@class='info']/a/@href")) title = "".join(item.xpath(".//div[@class='info']/a/text()")) payinfo = "".join(item.xpath(".//div[@class='detail']/span/text()")).split("万") play = payinfo[0] + "万" comment = payinfo[1] if comment.isdigit() == False: comment += "万" upname = "".join(item.xpath(".//div[@class='detail']/a/span/text()")) uplink = "http://" + "".join(item.xpath(".//div[@class='detail']/a/@href")) hot = "".join(item.xpath(".//div[@class='pts']/div/text()")) video_list.append({ 'rank': rank, 'videolink': video_link, 'title': title, 'play': play, 'comment': comment, 'upname': upname, 'uplink': uplink, 'hot': hot }) return video_list def write_Excel(): # 将爬取的信息添加到Excel video_list = spider() workbook = xlwt.Workbook() # 定义表格 sheet = workbook.add_sheet("b站热门视频") # 添加sheet的name xstyle = xlwt.XFStyle() # 实例化表格样式对象 xstyle.alignment.horz = 0x02 # 字体居中 xstyle.alignment.vert = 0x01 head = ['视频名', 'up主','排名', '热度','播放量','评论数'] for h in range(len(head)): sheet.write(0, h, head[h], xstyle) i = 1 for item in video_list: # 向单元格(视频名)添加该视频的超链接 if '"' in item["title"]: item["title"] = item["title"].split('"')[1] title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")' # 设置超链接 sheet.col(0).width = int(256 * len(title_data) * 3/5) # 设置列宽 sheet.write(i, 0, xlwt.Formula(title_data), xstyle) name_data = 'HYPERLINK("'+item["uplink"]+'";"'+item["upname"]+'")' sheet.col(1).width = int(256 * len(name_data) * 3/5) sheet.write(i, 1, xlwt.Formula(name_data), xstyle) sheet.write(i, 2, item["rank"], xstyle) sheet.write(i, 3, item["hot"], xstyle) sheet.write(i, 4, item["play"], xstyle) sheet.write(i, 5, item["comment"], xstyle) i += 1 # 如果文件存在,则将其删除 file = "b站热门视频信息.xls" if os.path.exists(file): os.remove(file) workbook.save(file) if __name__ == '__main__': write_Excel()
结果展示:
以上是“python如何爬取B站热门视频”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!
本文名称:python如何爬取B站热门视频
文章起源:http://hbruida.cn/article/jooidc.html