amnoob 發表於 2014-2-19 23:35  7 ?: H( r. |4 [& U4 V6 ^7 d* G
看了好幾遍才看懂了老兄的意思哇
, k6 ?. F4 b3 ^. Y
# U! G9 C A b1 l* ]' ], S我查了一下statcounter的記錄，發現蜘蛛每天都要來呆上半小時 ...
$ z1 Y5 ^5 m2 b3 Y) u其實我更傾向於這些ip段不是google bot， 這些ip段 66.249.8x.xxx, hostname是 google-proxy-66-249-8x-xxx.google.com， 而google bot 應該是 crawl-66-249-xx-xxx.googlebot.com這樣的， 像是人工查站一樣，反正它們來了我的採集站必K光， 直接清0。有興趣的歡迎討論一下。+ Z9 u: e( r) I5 S9 k& n$ D+ h
1 D6 M- Q* r$ f# E6 Y0 P8 l有個有趣的現象是，我針對這些ip設置了一下，這些ip來的時候就顯示404，結果這些站都只是降權了，沒有清0，每天還有少量訪問； 而沒有設置的，都清0了。
8 E7 C! m9 j0 {+ {
4 t7 b& V% @" S9 {/ Q* x }9 y e搞採集很累的，樓主不搞是明智之舉。; ^( K, ?$ j2 i/ o- w
) n: C: a: c4 M$ R, f* iPS: 今天掛了一個amazon jp的號， 是amazon.com的來查崗了，我還以為會是日本那邊負責查的呢，損失20多W日元，不多也不少，採集的說掛就掛
( N+ _) P5 g( Y ?0 R) t- a* b$ @( e7 S3 i2 T/ I# x/ _
+ |+ m& G. _- t( g# ^: P各位遠離採集遠離採集遠離採集。。。
0 \- t8 @2 q0 c1 w1 Y5 ?/ T, m6 t( x+ I" d' l3 h5 X+ Z/ W( }
|
發表於 2014-2-20 17:09:49