过期域名预定抢注

 找回密碼
 免费注册

spider相關, 求助:這個是什麼東西?把我的bandwidth都吃光了.

[複製鏈接]
發表於 2014-5-18 18:46:48 | 顯示全部樓層 |閱讀模式
如題,收到空間商提示我的帶寬快接近上限了(50G),就進CP查看了一下,發現下面這個流氓user agent每天要耗掉2G多的流量,請教下這個是什麼?是蜘蛛之類的嗎? 請問怎麼block掉啊?
  1. ( k- H5 a: \6 V- K! O  f
  2. - Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/98 Safari/537.4 (StatusCake)! T9 ?: c1 g7 O
複製代碼
另外還發現另一個流氓-瘦狗
  1. & o3 Y. F! Q7 v/ K* h1 [
  2. http://pic.sogou.com Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
    . x. A3 B* [5 t4 m( m& P/ G7 P
複製代碼
每天也要消耗幾百M的流量,我的可是英文站啊,怎麼搜狗也每天來爬啊爬的。
! A9 k0 }5 R' @$ l+ V
0 r" o, `7 ?; q5 r% o+ \' c' f然後google了一下,在"htaccess"中用下面這個代碼:

  1. / D; D- W$ T+ @# r1 S0 K2 n
  2. RewriteCond %{HTTP_USER_AGENT} sogou [NC]; R+ I5 \, A) J3 {) p% z' L
  3. RewriteRule ^.*$ map.txt [R=403]. F- ?& ~) u7 O6 v6 B! ]
複製代碼
雖然還是阻止不了瘦狗的訪問,但發現它確實不再能消耗我的流量了。怎麼能徹底阻止它的訪問啊?
, u: b1 }* J9 m6 J! m5 v, @- }
2 Z: h' }+ q& _, N+ ^0 I6 d
9 F3 Q! |8 ]2 e$ p' _: O4 A
回復

使用道具 舉報

發表於 2014-5-18 19:00:47 | 顯示全部樓層
研究robot.txt禁止寫法
. d0 R4 p# W0 d" u  @3 B& J1 G
5 L5 j3 N) _# m2 I" R' q1 |對於第1個,可能是採集,最好屏蔽ip,在防火牆裡面設置
7 ^: _- h  A! n# O% F' o
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

过期高净值品牌域名预定抢注

4um點基跨境網編創業社區

GMT+8, 2024-11-28 09:16

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表