按照有效程度为序,列举屏蔽爬虫对链接抓取的3种方法

2023-05-05    分类: 网站建设

关于屏蔽爬虫对链接抓取的问题,有些网站通过爬虫去采集其它的网站页面信息作为己用,大量的爬取行为会对web服务器有比较性能有影响,主要的表现就是会变得很慢。网站SEO优化面试题看看你会怎么做?创新互联介绍学习按照有效程度为序,列举屏蔽爬虫对链接抓取的3种方法。

1、基于程序本身去防止爬取:作为爬虫程序,爬取行为是对页面的源文件爬取,如爬取静态页面的html代码,可以用jquery去模仿写html,这种方法伪装的页面就很难被爬取了,不过这种方法对程序员的要求很高。

2、基于iptables和shell脚本:可以对nginx的access.log进行策略定义,例如定义在1分钟内并发连接数超过30个ip为非法,如ip不在白名单内,则加入iptables策略封掉,当然这种的缺点是会有“误伤”,策略细粒度越小就会有更多的“误伤”,细粒度大就会使效果变差,另外还有类似的第三方工具fail2ban,利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址(例如网易、有道)的爬取行为拒绝也很难准确做到,因为你无法准确知道这些特定的爬虫ip地址。注意:建议不要用封ip条目的方式,iptables列表长度是65535时就会封满,服务器也就会死机。

3.使用robots.txt文件:例如阻止所有的爬虫爬取,但是这种效果不是很明显。代码如下:

User-agent: *

Disallow: /




文章标题:按照有效程度为序,列举屏蔽爬虫对链接抓取的3种方法
新闻来源:/news/258088.html

成都网站建设公司_创新互联,为您提供网站排名自适应网站品牌网站设计外贸建站品牌网站制作定制网站

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都网站建设公司