請教什麼方法能把amazon整站採集下來

自己寫爬蟲把這個網站爬下來
$ `5 V1 z9 O% s0 ^5 I

leexiaochong 發表於 2014-12-25 10:42
+ D, a7 O3 K" e& R" z樓主，我只能分享這些了，只是產品的URL和URL中的product name

求分享採集思路，貌似翻頁有最大限制，無法全部採集
6 Y/ g+ Y9 T/ i- {0 o. b

熟能生巧哇 發表於 2015-1-1 01:29
" Q7 j& E; K" V) J8 s1 olucene  是java的把？ PHP 用不了把？

lucene是java的，我用.net，使用lucene.net，php我還不太懂了
8 ?6 o1 v7 e4 x. c) F

風吹不動 發表於 2015-1-1 08:39
求分享採集思路，貌似翻頁有最大限制，無法全部採集

兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是productdetail即可。重要一點：直接把amazon 的sitemap下載下來，然後再解壓gzip，再將解壓的xml內容給解析出來，取出loc和權重值放到數據庫裡面即可。
0 R  N% [3 y% L# d8 U+ V
/ S. R+ ^. O& S; L& I

leexiaochong 發表於 2015-1-1 10:34
3 t( s+ `) d; T) r兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是 ...

sitemap贊一個，去試試         

( R7 }( D4 f- F5 Z: l% G: B; @
/ S( I/ ~, R* L# \( o