請教什麼方法能把amazon整站採集下來

自己寫爬蟲把這個網站爬下來
" \+ J6 D% J5 m3 Q/ x

leexiaochong 發表於 2014-12-25 10:42
  A" U4 g# {! y" b) W8 y樓主，我只能分享這些了，只是產品的URL和URL中的product name

6 @+ V. ^3 n1 m' m2 A; k2 Q求分享採集思路，貌似翻頁有最大限制，無法全部採集

. N6 A5 W! @6 Z

熟能生巧哇 發表於 2015-1-1 01:29
! m4 C) S' g* o3 u! R7 d) R5 Tlucene  是java的把？ PHP 用不了把？

$ [# j2 P* @% r  e# G# y1 {lucene是java的，我用.net，使用lucene.net，php我還不太懂了
  ?$ d$ D' _) j- N. m" A6 g* A8 ?* Y
: D, w6 {) Y- I9 U8 Q5 h0 K2 m8 ~. n

風吹不動 發表於 2015-1-1 08:39
求分享採集思路，貌似翻頁有最大限制，無法全部採集

兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是productdetail即可。重要一點：直接把amazon 的sitemap下載下來，然後再解壓gzip，再將解壓的xml內容給解析出來，取出loc和權重值放到數據庫裡面即可。

leexiaochong 發表於 2015-1-1 10:34
兄弟，換個思路吧，不要跟著amazon的頁面走，也不要想著獲取list然後再獲取productdetail,採集只需要的是 ...

7 }3 D  k6 j; K+ y  Qsitemap贊一個，去試試         
' v. X+ V, n  d9 R% {( Q$ b0 m