請教一下有採集經驗的朋友

我想問怎樣採集google收錄頁，就是說，例如我查看「網頁快照」，頁面的內容就是google收錄的頁面，我可以採集這個頁面的內容嗎，然後，例如google第一頁就是10個頁面，全部採集完再到第二頁，一直採集到限定值，有什麼軟件可以這樣採集或者有什麼方法可以實現。

0 k4 L* n7 B( x( L: I3 @8 v

火車頭就可以啊，這是最基本的功能了。。。

GOOGLE別想了
基本上你高頻率猜個幾十頁 就要輸驗證碼了
2 D; D$ l( y2 T; G- ]除非你有大量的私有代理

生魚片 發表於 2014-10-11 18:31
! v) w# L' w% u# ?8 @9 n) iGOOGLE別想了
/ M0 \1 j+ k! s: {# g基本上你高頻率猜個幾十頁 就要輸驗證碼了
除非你有大量的私有代理

google就是這樣很討厭，限制得很死
3 D4 [& A; \; x; V要搞個自動搜集代理的工具
5 o3 x# f( k* `9 t: o- e
2 \' T1 M) L: w' D4 n( p; K

可以採集bing一樣的，限制很少

7 C% _! |/ _0 p; Y- n
Seocontentmachine部分合適
可以找開發者升級你要的功能

8 O. P- K0 W) ]$ u

dylan 發表於 2014-10-11 20:42
Seocontentmachine部分合適
! y; s- U( q3 s7 Y, m" z可以找開發者升級你要的功能

有這個功能？？謝謝，研究一下
% U8 T6 f( P/ o9 A: E2 J5 E# M

為什麼我對月 光的回復都要審核的
. x. O8 \$ g2 J. Z& U; Q

很多網站都有防爬設置 GG就更不用說了，通常也只能用大量的代理IP
沒有太好的辦法可以繞行

你這樣採集的內容死的很快的
& X7 N6 }. ~2 i. |* r9 j