繼續是採集的問題，如何獲得google、bing的緩存頁地址

今天開始嘗試用火車頭採集google、bing的緩存頁（即快照），但是遇到問題了，緩存頁都需要點開下來箭頭才能顯示出來，在代碼裡又不能看到，不知道怎麼獲取這個地址，有高手能解決嗎
7 e) d* U9 [* Y6 q+ ?& _0 `1 {

直接採集目標站，而不是快照
% M- l. t; n# F* Y8 L+ i

月光飛燕 發表於 2014-10-13 18:33
直接採集目標站，而不是快照

例如ezinearticles.com這樣的網站會有限制的，直接採集需要的IP多還是採集bing的IP多，就這個問題糾結
% s0 g1 G; b4 A: m- Y( X+ p) z% f

以前採集用過有道搜索，限制低，現在不知。
! e' p) r" c' f1 k0 \7 e

抓包，快照地址都在json裡面
7 d$ ~" D9 V+ ?

更改useragent為文本瀏覽器，比如說w3m 或lynx
- a1 }( C. i5 `2 {
" L" L( _# ?/ U( y, L" y普通瀏覽器頁面裡面也有，仔細找

4 P3 z" {' e  _( J' W$ V不建議采緩存，不全
5 M9 `  _8 u% _5 A; |

無言 發表於 2014-10-13 23:49
0 I9 j; v8 e, m1 b抓包，快照地址都在json裡面

  m9 r9 U) ^# |8 @* }2 d7 n9 l可以加我，教教我怎麼抓包，我現在都研究，就是不懂怎麼抓
; a8 P  g" t# b: m9 }% V! M- M

bbbbb111115 發表於 2014-10-14 09:09
可以加我，教教我怎麼抓包，我現在都研究，就是不懂怎麼抓

用fiddler抓包，可以百度一下怎麼用