过期域名预定抢注

 找回密碼
 免费注册

spider相關, 求助:這個是什麼東西?把我的bandwidth都吃光了.

[複製鏈接]
發表於 2014-5-18 18:46:48 | 顯示全部樓層 |閱讀模式
如題,收到空間商提示我的帶寬快接近上限了(50G),就進CP查看了一下,發現下面這個流氓user agent每天要耗掉2G多的流量,請教下這個是什麼?是蜘蛛之類的嗎? 請問怎麼block掉啊?
  1. , u! Z9 [) G& d+ T/ Y5 q
  2. - Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/98 Safari/537.4 (StatusCake)
    - z% n% w, G4 j
複製代碼
另外還發現另一個流氓-瘦狗
  1. 6 O$ M2 S/ j# I3 N) V% C$ T
  2. http://pic.sogou.com Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
    $ W3 c- U- Z- h5 P5 I, g4 b- x  j
複製代碼
每天也要消耗幾百M的流量,我的可是英文站啊,怎麼搜狗也每天來爬啊爬的。
6 H7 t" u; _9 v0 |7 o" q
4 D! b: @( k9 k" x) V6 @% i! ]9 ]然後google了一下,在"htaccess"中用下面這個代碼:

  1. ) T1 p5 p; f* Q7 O
  2. RewriteCond %{HTTP_USER_AGENT} sogou [NC]! z4 Y7 A2 Y( i  Z) A
  3. RewriteRule ^.*$ map.txt [R=403]4 I4 E( g  u1 ?. E
複製代碼
雖然還是阻止不了瘦狗的訪問,但發現它確實不再能消耗我的流量了。怎麼能徹底阻止它的訪問啊?
, g, H: v7 k: q# @* Q1 g
" }  k; S( o! Y9 A. }* `8 G- f
回復

使用道具 舉報

發表於 2014-5-18 19:00:47 | 顯示全部樓層
研究robot.txt禁止寫法! x: |; T, b, {2 u& u8 E( M) w

- P7 b' x' |8 F7 Z; |對於第1個,可能是採集,最好屏蔽ip,在防火牆裡面設置" [7 X$ j9 V$ e0 E
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

4um點基跨境網編創業社區

GMT+8, 2024-11-24 15:59

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表