請教什麼方法能把amazon整站採集下來

自己寫爬蟲把這個網站爬下來
. w( F8 c# l& L! F( l6 `7 ?

leexiaochong 發表於 2014-12-25 10:42
; f# R3 t1 Y; f7 Q. J8 m樓主，我只能分享這些了，只是產品的URL和URL中的product name

求分享採集思路，貌似翻頁有最大限制，無法全部採集
# N" z! O% f6 @- X
) @' A9 R! ]4 x. o3 W# f4 R. V

熟能生巧哇 發表於 2015-1-1 01:29
& W3 f9 [# R# @. Alucene  是java的把？ PHP 用不了把？

3 k4 g, X& x+ mlucene是java的，我用.net，使用lucene.net，php我還不太懂了

: ~/ Q+ C$ t# {! S

風吹不動 發表於 2015-1-1 08:39
求分享採集思路，貌似翻頁有最大限制，無法全部採集

兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是productdetail即可。重要一點：直接把amazon 的sitemap下載下來，然後再解壓gzip，再將解壓的xml內容給解析出來，取出loc和權重值放到數據庫裡面即可。
( [2 z$ h% n, i  X- i0 _$ w5 A
2 N; l' R. o8 x! T: h' r

leexiaochong 發表於 2015-1-1 10:34
) ?& L/ z; q& Q6 C$ n( _6 ?兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是 ...

6 q4 W2 w" W& \$ G' t/ csitemap贊一個，去試試