过期域名预定抢注

 找回密碼
 免费注册

請教什麼方法能把amazon整站採集下來

  [複製鏈接]
發表於 2015-1-1 07:53:38 | 顯示全部樓層
自己寫爬蟲把這個網站爬下來
8 o4 G+ B  L" {& d9 n- l) P* D
回復 给力 爆菊

使用道具 舉報

發表於 2015-1-1 08:39:08 | 顯示全部樓層
leexiaochong 發表於 2014-12-25 10:42 ' T. o& E" i& S1 M* P$ ]: a+ V
樓主,我只能分享這些了,只是產品的URL和URL中的product name
+ \  E( B: o3 S9 `: D, g
求分享採集思路,貌似翻頁有最大限制,無法全部採集4 y2 B% M8 h# X5 H: B0 ^

' d, L. X3 ~" E* i8 N0 z6 N
回復 给力 爆菊

使用道具 舉報

發表於 2015-1-1 10:32:30 | 顯示全部樓層
熟能生巧哇 發表於 2015-1-1 01:29
' g! Y6 D0 Y/ n- o$ X) h9 w( ?lucene  是java的把? PHP 用不了把?

3 s( @8 C' n/ k! F) B; nlucene是java的,我用.net,使用lucene.net,php我還不太懂了
. M$ n# x8 `8 K; i- h# N
( t" K  ^) A/ D! a$ l
回復 给力 爆菊

使用道具 舉報

發表於 2015-1-1 10:34:23 | 顯示全部樓層
風吹不動 發表於 2015-1-1 08:39
% P. F! I: {- J# b2 T3 e求分享採集思路,貌似翻頁有最大限制,無法全部採集
6 `) Z. T' f" `
兄弟,換個思路吧,不要跟著amazon的頁面走,也不要想著獲取list然後再獲取productdetail,採集只需要的是productdetail即可。重要一點:直接把amazon 的sitemap下載下來,然後再解壓gzip,再將解壓的xml內容給解析出來,取出loc和權重值放到數據庫裡面即可。5 C: a8 x& T$ Q( _7 I; ^
* y# f. @* O$ |" Q9 Q
回復 给力 爆菊

使用道具 舉報

發表於 2015-1-1 16:52:10 | 顯示全部樓層
leexiaochong 發表於 2015-1-1 10:34
+ h, b9 B: n6 s, ~$ x! g/ y8 ^# l兄弟,換個思路吧,不要跟著amazon的頁面走,也不要想著獲取list然後再獲取productdetail,採集只需要的是 ...

( w5 b4 k- _- U4 vsitemap贊一個,去試試         
  \5 S4 ^/ ]  u6 |6 E! b5 n) a! f" E9 A9 ?. k: P$ p, [
' E3 M5 P/ e3 q- v3 j  [. c
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

點基

GMT+8, 2026-8-20 19:06

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表