狠狠色丁香婷婷久久综合麻豆,国产99久久久久久免费看,与亲女洗澡时伦了视频,一面膜胸口一面膜下免费

按照有效程度為序,列舉屏蔽爬蟲對鏈接抓取的3種方法

2023-05-05    分類: 網站建設

關于屏蔽爬蟲對鏈接抓取的問題,有些網站通過爬蟲去采集其它的網站頁面信息作為己用,大量的爬取行為會對web服務器有比較性能有影響,主要的表現就是會變得很慢。網站SEO優化面試題看看你會怎么做?創新互聯介紹學習按照有效程度為序,列舉屏蔽爬蟲對鏈接抓取的3種方法。

1、基于程序本身去防止爬取:作為爬蟲程序,爬取行為是對頁面的源文件爬取,如爬取靜態頁面的html代碼,可以用jquery去模仿寫html,這種方法偽裝的頁面就很難被爬取了,不過這種方法對程序員的要求很高。

2、基于iptables和shell腳本:可以對nginx的access.log進行策略定義,例如定義在1分鐘內并發連接數超過30個ip為非法,如ip不在白名單內,則加入iptables策略封掉,當然這種的缺點是會有“誤傷”,策略細粒度越小就會有更多的“誤傷”,細粒度大就會使效果變差,另外還有類似的第三方工具fail2ban,利用做filter和actor對一些有危害的操作記錄或是封ip。但是對于某個特定的爬蟲地址(例如網易、有道)的爬取行為拒絕也很難準確做到,因為你無法準確知道這些特定的爬蟲ip地址。注意:建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿,服務器也就會死機。

3.使用robots.txt文件:例如阻止所有的爬蟲爬取,但是這種效果不是很明顯。代碼如下:

User-agent: *

Disallow: /



?

文章標題:按照有效程度為序,列舉屏蔽爬蟲對鏈接抓取的3種方法
新聞來源:http://www.hntjjpw.com/news/258088.html

成都網站建設公司_創新互聯,為您提供網站排名自適應網站品牌網站設計、外貿建站、品牌網站制作定制網站

廣告

聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯

成都網站建設公司
主站蜘蛛池模板: 靖江市| 潜江市| 平潭县| 色达县| 太原市| 六枝特区| 枣庄市| 上蔡县| 金湖县| 肃宁县| 阿尔山市| 锡林郭勒盟| 思茅市| 津市市| 东丰县| 陈巴尔虎旗| 镇江市| 腾冲县| 宁陵县| 肇源县| 墨竹工卡县| 巴塘县| 镇赉县| 禄丰县| 仪征市| 思南县| 阜阳市| 承德县| 柘城县| 托克逊县| 兴安县| 鸡泽县| 昭觉县| 安国市| 漯河市| 高清| 阳西县| 巴林左旗| 新化县| 三原县| 山阴县|