过期域名预定抢注

 找回密碼
 免费注册

請教什麼方法能把amazon整站採集下來

  [複製鏈接]
發表於 2015-1-1 07:53:38 | 顯示全部樓層
自己寫爬蟲把這個網站爬下來
. w( F8 c# l& L! F( l6 `7 ?
回復 给力 爆菊

使用道具 舉報

發表於 2015-1-1 08:39:08 | 顯示全部樓層
leexiaochong 發表於 2014-12-25 10:42
; f# R3 t1 Y; f7 Q. J8 m樓主,我只能分享這些了,只是產品的URL和URL中的product name
" i5 ^+ X. \; ~$ K
求分享採集思路,貌似翻頁有最大限制,無法全部採集
# N" z! O% f6 @- X
) @' A9 R! ]4 x. o3 W# f4 R. V
回復 给力 爆菊

使用道具 舉報

發表於 2015-1-1 10:32:30 | 顯示全部樓層
熟能生巧哇 發表於 2015-1-1 01:29
& W3 f9 [# R# @. Alucene  是java的把? PHP 用不了把?

3 k4 g, X& x+ mlucene是java的,我用.net,使用lucene.net,php我還不太懂了7 i# `; p) n2 h7 O1 \' t7 p" ^" W

: ~/ Q+ C$ t# {! S
回復 给力 爆菊

使用道具 舉報

發表於 2015-1-1 10:34:23 | 顯示全部樓層
風吹不動 發表於 2015-1-1 08:39 2 e' {& e. l8 ?3 M0 l$ v2 h
求分享採集思路,貌似翻頁有最大限制,無法全部採集
: X- m; }/ W7 m- M5 @8 Z
兄弟,換個思路吧,不要跟著amazon的頁面走,也不要想著獲取list然後再獲取productdetail,採集只需要的是productdetail即可。重要一點:直接把amazon 的sitemap下載下來,然後再解壓gzip,再將解壓的xml內容給解析出來,取出loc和權重值放到數據庫裡面即可。
( [2 z$ h% n, i  X- i0 _$ w5 A
2 N; l' R. o8 x! T: h' r
回復 给力 爆菊

使用道具 舉報

發表於 2015-1-1 16:52:10 | 顯示全部樓層
leexiaochong 發表於 2015-1-1 10:34
) ?& L/ z; q& Q6 C$ n( _6 ?兄弟,換個思路吧,不要跟著amazon的頁面走,也不要想著獲取list然後再獲取productdetail,採集只需要的是 ...

6 q4 W2 w" W& \$ G' t/ csitemap贊一個,去試試          9 U  i0 l9 b5 i  C" a' D% V5 I
, D; R- y% N7 |9 ^6 }( h5 [& H
! |) [, v+ e! p  a& r
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

點基

GMT+8, 2026-8-20 17:22

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表