过期域名预定抢注

 找回密碼
 免费注册

spider相關, 求助:這個是什麼東西?把我的bandwidth都吃光了.

[複製鏈接]
發表於 2014-5-18 18:46:48 | 顯示全部樓層 |閱讀模式
如題,收到空間商提示我的帶寬快接近上限了(50G),就進CP查看了一下,發現下面這個流氓user agent每天要耗掉2G多的流量,請教下這個是什麼?是蜘蛛之類的嗎? 請問怎麼block掉啊?
  1. : n. T( X, n- ]0 y5 j2 v: V9 M! V
  2. - Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/98 Safari/537.4 (StatusCake)6 v: B! A' [) W; l. j
複製代碼
另外還發現另一個流氓-瘦狗

  1. 4 ~: p  d8 m* a- Q/ i. d
  2. http://pic.sogou.com Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)$ g5 J4 n2 o# A* D( h) ]9 d
複製代碼
每天也要消耗幾百M的流量,我的可是英文站啊,怎麼搜狗也每天來爬啊爬的。
3 x8 C3 s# N: x+ p% t7 A, o: ~3 [) m% \- _0 @2 @5 V0 d2 ^, [
然後google了一下,在"htaccess"中用下面這個代碼:

  1. % J% B& {+ u+ f6 a4 `* w
  2. RewriteCond %{HTTP_USER_AGENT} sogou [NC]" p  G* J9 I) U
  3. RewriteRule ^.*$ map.txt [R=403]
    ' ]* z7 W( r" d  S5 }0 ~" V
複製代碼
雖然還是阻止不了瘦狗的訪問,但發現它確實不再能消耗我的流量了。怎麼能徹底阻止它的訪問啊?7 V: P4 v# B& r- v0 Z! P. Y' \

4 Q4 t* S( |& I3 E" H# \7 H2 c. l
回復

使用道具 舉報

發表於 2014-5-18 19:00:47 | 顯示全部樓層
研究robot.txt禁止寫法
/ {/ V- M) c, }! x$ B6 ]5 P0 a( b$ B, B
對於第1個,可能是採集,最好屏蔽ip,在防火牆裡面設置& U- d( w$ E) @# Q: Y+ \0 V
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

过期高净值品牌域名预定抢注

4um點基跨境網編創業社區

GMT+8, 2024-11-24 18:59

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表