博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
实用爬虫-01-检测爬虫的 IP
阅读量:5340 次
发布时间:2019-06-15

本文共 668 字,大约阅读时间需要 2 分钟。

实用爬虫-01-检测爬虫的 IP

  • 本篇介绍一个识别爬虫 ip 的小实例(教你一招识破无效的 ip 代理)

【注意事项】:

  • 1.url 可能会失效(个人感觉,因为它带了一个2018,下面附上链接获取方法)
  • 2.当然使用的时候,只需两步:
    • (1)把你的爬虫的 url 换成下面的 url,目前是:
    • (2)把 decode() 方法的参数要设置成 'GBK' (默认的 'utf-8' 是不行的)
  • 代码 ipQuery.py 文件:
# coding: utf-8# 测爬虫 ip 工具from urllib import request,errorif __name__ == '__main__':    # 该地址可能会失效,如果失效,请参照:https://www.cnblogs.com/xpwi/p/9610887.html    url = "http://2018.ip138.com/ic.asp"    rsp = request.urlopen(url)    html = rsp.read().decode('GBK')    print(html)

运行结果

1483449-20180908220936227-815225691.jpg

下面介绍怎么获取查询 ip 的地址

  • 在百度搜索关键字:ip,点击 IP地址查询
  • 或者直接访问:
  • 操作截图:
    1483449-20180908221833604-244055241.jpg
  • 右键,点击【查看页面源代码】
  • 【搜索】关键字:【地理位置】
  • 下面是一个 iframe 标签,地址就在那
    1483449-20180908222422147-1192893453.jpg

更多文章链接:


  • 本笔记不允许任何个人和组织转载

转载于:https://www.cnblogs.com/xpwi/p/9610887.html

你可能感兴趣的文章
Linux自己安装redis扩展
查看>>
HDU 1016 Prime Ring Problem(dfs)
查看>>
C#中结构体与字节流互相转换
查看>>
session和xsrf
查看>>
跟随大神实现简单的Vue框架
查看>>
Linux目录结构
查看>>
LeetCode-Strobogrammatic Number
查看>>
luoguP3414 SAC#1 - 组合数
查看>>
五一 DAY 4
查看>>
(转)接口测试用例设计(详细干货)
查看>>
【译】SSH隧道:本地和远程端口转发
查看>>
win8.1安装Python提示缺失api-ms-win-crt-runtime-l1-1-0.dll问题
查看>>
图片点击轮播(三)-----2017-04-05
查看>>
判断两个字符串是否相等【JAVA】
查看>>
直播技术细节3
查看>>
《分布式服务架构:原理、设计于实战》总结
查看>>
java中new一个对象和对象=null有什么区别
查看>>
字母和数字键的键码值(keyCode)
查看>>
IE8调用window.open导出EXCEL文件题目
查看>>
Spring mvc初学
查看>>