python爬虫懒加载(以站长素材为例)-创新互联
什么是懒加载?
成都创新互联自2013年起,是专业互联网技术服务公司,拥有项目做网站、成都网站建设网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元台江做网站,已为上家服务,为台江各地企业和个人服务,联系电话:18982081108简单的说一下,当你去访问一个页面的时候,这个页面可能会有很多的信息,比如某宝之类的。如果你一次性完整的加载出这个页面。显然耗时长一点,并且对于用户和服务器都是不友好的。懒加载就是当某个图片的位置在你的屏幕范围之内,它才会加载出来。这个是比较好理解的。
(这个懒加载对用户和服务器都是比较友好的,但是对于我们爬虫来说就比较蛮烦了。往往用xpath或者bs4取解析数据的时候,就不准确。)
我们来看看以下检索,使用xpath,路径为//div[@]/img/@src,可以看到图片的上方扩展程序中result的确拿到了40条src
图一
但此时部分src并不是图片真实的路径,使用该路径并不能得到图片,例如这一条 ../static/common/com_images/img-loding.png,这不是一个正确的路径,这就是因为我还没有浏览到这张图片,这是加载前的src,也就是懒加载,见下图
图二
浏览之后,src就变成了正确的图片路径,如下图所示
以上就是对懒加载的解释,觉得有用,可以支持一下萌新!!!
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧
本文题目:python爬虫懒加载(以站长素材为例)-创新互联
网页网址:http://hbruida.cn/article/cdsdei.html