stacounter, 這個是什麼狀況呢？

amnoob 發表於 2014-2-19 23:35
看了好幾遍才看懂了老兄的意思哇

( U2 y6 E$ m) T! m8 u) F( ]我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。

" O4 p; ~8 w- X' M( B有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。
+ G6 l2 T$ o# v- r2 K; b
搞採集很累的，樓主不搞是明智之舉。

/ {& g& R6 Q$ ^- C$ p/ U; {PS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛
& k  C, o- c$ ]6 \( c$ r

各位遠離採集遠離採集遠離採集。。。

amnoob 發表於 2014-2-19 23:35
0 E5 J; R6 m( S, n看了好幾遍才看懂了老兄的意思哇
2 y2 D7 L2 `' T; T0 F
, V! i) J& Q2 z9 @9 A: |* ?# P! |, ?- V我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...

你這也算是採集吧？你如何查詢到允許分享的站呢？

( T6 i' x: m  G" T- g1 h% w

chenyox 發表於 2014-2-20 17:09
! Y; @2 L; l3 p+ _" n( m" P2 M3 }其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-x ...

你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

- r  S$ V/ V5 t

學習了，原來是這樣。。。
& H3 r6 w4 u- k2 e* S7 R

forwhatah 發表於 2014-3-6 17:07
你那500+採集站都降權和清零了麼？有沒一些長時間正常存在的？

沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧

& I9 b. o" p/ C/ R1 A" f& `. p

chenyox 發表於 2014-3-6 22:48
  h3 t6 C9 H( I( Z" B沒有。。。基本很快就掛了，這段時間更狠了，有些還沒流量就K光了，可能我功力還不夠吧

" @5 `, u+ g& P9 m6 s6 s ...

採集也不容易，無論是採集過程，還是採集後！

學習一下                              
0 }4 M" y- T7 e+ L( t6 \& O2 c