nodejs中怎么利用axios实现一个爬虫
这篇文章给大家介绍nodejs中怎么利用axios实现一个爬虫,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
为厦门等地区用户提供了全套网页设计制作服务,及厦门网站建设行业解决方案。主营业务为网站设计制作、成都做网站、厦门网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!
Nodejs中的axios 是标准的DOM 解析库,采用类似于 jquery 语法的,可以直接分析数据 DOM 中的相关内容,方便简洁的进行数据采集,同时加上爬虫代理IP,能够有效避免网站限制,轻松实现数据采集。
const axios = require('axios'); // 要访问的目标页面 const targetUrl = "https://www.baidu.com"; // 代理服务器(产品官网 www.16yun.cn) const proxyHost = "t.16yun.cn"; const proxyPort = 31111; // 代理验证信息 const proxyUser = "username"; const proxyPass = "password"; var proxy = { host: proxyHost, port: proxyPort, auth: { username: proxyUser, password: proxyPass } }; axios.get(targetUrl,{proxy:proxy}) .then(function (response) { // handle success console.log(response.data); }) .catch(function (error) { // handle error console.log(error); }) .finally(function () { // always executed })
关于nodejs中怎么利用axios实现一个爬虫就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
本文题目:nodejs中怎么利用axios实现一个爬虫
分享网址:http://hbruida.cn/article/geejee.html