請教一下有採集經驗的朋友

我想問怎樣採集google收錄頁，就是說，例如我查看「網頁快照」，頁面的內容就是google收錄的頁面，我可以採集這個頁面的內容嗎，然後，例如google第一頁就是10個頁面，全部採集完再到第二頁，一直採集到限定值，有什麼軟件可以這樣採集或者有什麼方法可以實現。
! y9 r( q5 E9 [, c4 \
( q" t0 g3 L0 \- u, e$ L

火車頭就可以啊，這是最基本的功能了。。。
8 ?& x" ~% n! w" i3 l

GOOGLE別想了
4 W$ h5 h& L# I基本上你高頻率猜個幾十頁 就要輸驗證碼了
除非你有大量的私有代理

生魚片 發表於 2014-10-11 18:31
GOOGLE別想了
基本上你高頻率猜個幾十頁 就要輸驗證碼了
2 ~& ]. c1 O% N$ L除非你有大量的私有代理

+ P2 _% x0 x9 m, ogoogle就是這樣很討厭，限制得很死
要搞個自動搜集代理的工具
$ P4 W( H7 R1 y
" L% @3 Q; g8 K! q# O+ c# H

可以採集bing一樣的，限制很少
; U. V& Q' Q3 x

5 g* f, V, h+ n: i9 d+ nSeocontentmachine部分合適
5 w; D; f1 @% ?. @. A# E可以找開發者升級你要的功能
! Z6 s7 ^4 ?7 b: f$ c$ G

dylan 發表於 2014-10-11 20:42
1 j0 _. |) L( @% {Seocontentmachine部分合適
- s. A. p& K' W, y$ O5 a6 v可以找開發者升級你要的功能

: d5 r8 u; m7 B有這個功能？？謝謝，研究一下

為什麼我對月 光的回復都要審核的

很多網站都有防爬設置 GG就更不用說了，通常也只能用大量的代理IP
+ g% c2 _/ s7 W8 k沒有太好的辦法可以繞行

你這樣採集的內容死的很快的