stacounter, 這個是什麼狀況呢？

amnoob 發表於 2014-2-19 23:35
看了好幾遍才看懂了老兄的意思哇
& c) i3 h7 k- A1 p" Z
0 w7 a# V+ n  X( @; A2 s我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

; C/ H/ Y. I9 ~# ]7 }6 N$ j其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。

有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。

搞採集很累的，樓主不搞是明智之舉。

PS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛

% S1 Q" H$ o2 K
各位遠離採集遠離採集遠離採集。。。
9 b5 [+ g% f% D* c
7 D9 O. ~* s/ y- p( Z4 T2 c, a0 y

amnoob 發表於 2014-2-19 23:35
( D/ I9 W- m; k  H  t. N/ o- T& F8 D看了好幾遍才看懂了老兄的意思哇
) `; Q( Q8 L7 A+ `8 D: f/ c) ]; V
我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

4 G0 Y6 x( N* f2 B, S; H9 G: A你這也算是採集吧？你如何查詢到允許分享的站呢？

chenyox 發表於 2014-2-20 17:09
其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-x ...

你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

  `% U* Z' S  e% C- |/ D

學習了，原來是這樣。。。

forwhatah 發表於 2014-3-6 17:07
; a/ O  T* \) ]5 `+ {4 n" q+ M% \你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧
0 f$ H+ L) Y& Z, x2 ^- ~, s5 _+ |3 H

chenyox 發表於 2014-3-6 22:48
' G9 M& O  v* P* P$ n沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧
$ f% n8 C$ C2 c$ j& ~( l
...

採集也不容易，無論是採集過程，還是採集後！

學習一下