繼續是採集的問題，如何獲得google、bing的緩存頁地址

今天開始嘗試用火車頭採集google、bing的緩存頁（即快照），但是遇到問題了，緩存頁都需要點開下來箭頭才能顯示出來，在代碼裡又不能看到，不知道怎麼獲取這個地址，有高手能解決嗎
) A/ o5 L, v9 w5 l1 V7 u- P' W8 d0 n* L

直接採集目標站，而不是快照
; k" v0 @1 w" i6 |8 `! K9 a! ~

月光飛燕 發表於 2014-10-13 18:33
2 A( m. r7 E" v直接採集目標站，而不是快照

例如ezinearticles.com這樣的網站會有限制的，直接採集需要的IP多還是採集bing的IP多，就這個問題糾結

以前採集用過有道搜索，限制低，現在不知。

抓包，快照地址都在json裡面

更改useragent為文本瀏覽器，比如說w3m 或lynx
9 n5 i' ~8 Q9 A& B; u# x* q3 C2 w' Z
普通瀏覽器頁面裡面也有，仔細找
# r' m3 a4 S8 s# U: m
不建議采緩存，不全
. P' H( c9 d4 [

無言 發表於 2014-10-13 23:49
抓包，快照地址都在json裡面

可以加我，教教我怎麼抓包，我現在都研究，就是不懂怎麼抓

bbbbb111115 發表於 2014-10-14 09:09
可以加我，教教我怎麼抓包，我現在都研究，就是不懂怎麼抓

' N& T* l5 l# u# y% Z& X, O用fiddler抓包，可以百度一下怎麼用