stacounter, 這個是什麼狀況呢？

amnoob 發表於 2014-2-19 23:35
2 Z  R8 u$ X( M; e% Z5 Z' r看了好幾遍才看懂了老兄的意思哇
- Y9 }8 ~, j4 F( e6 v7 `- e2 j% v4 M
我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。

有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。
& m7 y( M. ^: K' u
6 {( R% f) ?7 G  o: u: ~搞採集很累的，樓主不搞是明智之舉。
6 J0 a+ J6 ^2 H4 z9 A) z7 u
% L% W% c$ z5 |! \" vPS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛
+ D  Q, Y$ I( b
1 B" h# g) j; l( a5 i( K7 t
各位遠離採集遠離採集遠離採集。。。

amnoob 發表於 2014-2-19 23:35
看了好幾遍才看懂了老兄的意思哇
% |- H3 ^9 F& _% S1 d& G5 F
我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

$ [3 g6 D, h4 S/ f  |你這也算是採集吧？你如何查詢到允許分享的站呢？
3 s/ R: m0 u, c

chenyox 發表於 2014-2-20 17:09
其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-x ...

你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？
8 f* T, x3 {1 N- u, y7 d1 i

學習了，原來是這樣。。。
: w  c) y! t# x

forwhatah 發表於 2014-3-6 17:07
" S4 p: V# d8 T: y你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧
! ^+ N3 k6 A' D2 S8 h8 p8 k+ Z/ f
9 [6 z3 C. I( ^

chenyox 發表於 2014-3-6 22:48
沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧
/ Z2 s6 w4 }* p
...

採集也不容易，無論是採集過程，還是採集後！

) B/ D- n0 `6 d% i

學習一下                              
: Z+ r/ y; X+ ?- F: ~- _# @