關於主機非瀏覽器流量的問題

3 T7 D$ g9 E0 Q  |- \; Z, @
2 C( v- D% A$ S" p1 b/ M一虛擬主機，每月9G的帶寬，主機放了一個WP做的網站，有20萬條記錄，google收錄1W+，網站沒什麼IP，之前每個月的帶寬使用都是一、兩G左右。
, h2 c! R8 T, @# C前幾天將WP做的網站整個刪除了。然後做了個新的網站，把數據庫、文件上傳到空間。
: C3 R& Q. f& V* _7 z; \發現這幾天帶寬暴漲，而且404錯誤的非瀏覽器流量佔了26G，不知道是不是因為我刪除了網站數據的問題？
& Z1 i. i  N6 ~$ }! d
! b3 B! H. c9 P; {, s6 f" V
8 u8 A5 r4 |3 ]  H' E: K7 [

1 Q- T2 v+ Z: G# d) w

這個光看圖，還是搞不清楚的，要你自己來研究了
9 R! Q' p6 C7 T: N$ A

是不是刪除文件後，搜索引擎來檢索這些頁面，造成的非瀏覽器流量

* o7 e' Q0 Q* I; _! K8 y

月光飛燕 發表於 2013-6-23 17:28
是不是刪除文件後，搜索引擎來檢索這些頁面，造成的非瀏覽器流量

4 _$ n/ A; J2 B我懷疑這個可能很大，要是這樣的話，有什麼方法能避免呢？用robot.txt限制蜘蛛嗎

7 m4 ~0 E/ b( R  |$ g" m