請教什麼方法能把amazon整站採集下來

自己寫爬蟲把這個網站爬下來
8 o4 G+ B  L" {& d9 n- l) P* D

leexiaochong 發表於 2014-12-25 10:42
樓主，我只能分享這些了，只是產品的URL和URL中的product name

求分享採集思路，貌似翻頁有最大限制，無法全部採集

' d, L. X3 ~" E* i8 N0 z6 N

熟能生巧哇 發表於 2015-1-1 01:29
' g! Y6 D0 Y/ n- o$ X) h9 w( ?lucene  是java的把？ PHP 用不了把？

3 s( @8 C' n/ k! F) B; nlucene是java的，我用.net，使用lucene.net，php我還不太懂了
. M$ n# x8 `8 K; i- h# N
( t" K  ^) A/ D! a$ l

風吹不動 發表於 2015-1-1 08:39
% P. F! I: {- J# b2 T3 e求分享採集思路，貌似翻頁有最大限制，無法全部採集

兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是productdetail即可。重要一點：直接把amazon 的sitemap下載下來，然後再解壓gzip，再將解壓的xml內容給解析出來，取出loc和權重值放到數據庫裡面即可。

leexiaochong 發表於 2015-1-1 10:34
+ h, b9 B: n6 s, ~$ x! g/ y8 ^# l兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是 ...

( w5 b4 k- _- U4 vsitemap贊一個，去試試         
  \5 S4 ^/ ]  u6 |6 E! b5 n