python爬虫时如何知道是否代理ip伪装成功-创新互联
有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。
创新互联公司-专业网站定制、快速模板网站建设、高性价比高昌网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式高昌网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖高昌地区。费用合理售后完善,10余年实体公司更值得信赖。Python¶ requests #! -*- encoding:utf-8 -*- import requests import random # 要访问的目标页面 targetUrl = "http://httpbin.org/ip" # 要访问的目标HTTPS页面 # targetUrl = "https://httpbin.org/ip" # 代理服务器 proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理隧道验证信息 proxyUser = "16ZKBRLB" proxyPass = "234076" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 设置IP切换头 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text
要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。
网页题目:python爬虫时如何知道是否代理ip伪装成功-创新互联
文章起源:http://hbruida.cn/article/coceeo.html