今年2月，安全研究專家Matthijs R. Koot很輕鬆的獲得了一個包含有3500個Google Profile信息的數據庫，包括有3500萬個用戶的Twitter說話記錄、真實姓名、Picasa圖片和郵件地址。由於每個人的Google Profile幾乎都是開放的，所以他輕鬆就批量抓取到了3500萬個人的信息，保存在一個SQL數據庫裡。1 Y0 _( C. G& k6 K
* v# S5 R0 X W% M8 X" N5 pGoogle對其大規模大批量抓取Google Profile的行為沒有進行反應，就是說Google沒有阻攔他的爬蟲，沒有任何驗證碼機制，毫無限制的就允許他輕鬆的在一個月內的時間裡使用spidermonkey和其它Javascript代碼持續下載到了所有的信息，然後將他們轉移到數據庫裡保存。 Q6 j/ d; F& c, o4 v1 t) X9 o* d7 U# u8 o, ?6 u7 U, @/ y& M
實際上從2008年開始，Google的profiles-sitemap.xml就一直存在，其中包含了指向7000多個sitemap NNN(N).txt的文件，每個文件又包含了5000個指向Google Profile的超級鏈接，總共就是3500萬個。比如從sitemap-000.txt裡即可得到：) \+ v6 d: g' q, C" n; }
: z# y4 m: u9 Q- `) f1 X: O https://profiles.google.com/1171359025719387936027 E9 R* d0 k& c k https://profiles.google.com/112006952710949332145" _ j% Z6 e$ o, N) Z3 m https://profiles.google.com/105382462492606983441 + L4 x8 x! a# M9 V) ]! chttps://profiles.google.com/109299750146769054739$ B6 A8 @# `4 v; e* c! s https://profiles.google.com/104555562341640123846 , T& q! a: M' Thttps://profiles.google.com/112956845518767535694 : ?9 U6 J. l& b" A3 L然後排出爬蟲抓取這些地址，即可得到3500萬用戶的Google Profile裡存儲的信息。實際上這一做法也是合法的，因為Google.com的robots.txt文件其實允許爬蟲索引Profile目錄，其中有這樣的字段： 8 Z f: n" b2 X: T 2 m* T& Q3 w0 R& j' fAllow: /profiles ( S: u$ u; T; Y3 C; XAllow: /s2/profiles 7 h! s. ?/ e/ Q, u$ O8 s) vAllow: /s2/photos! D( _; _) h+ c3 t: q5 f! O% ?1 C
Allow: /s2/static6 y5 M* |5 a4 I
Matthijs R. Koot的這一研究實際是自己在阿姆斯特丹大學所做的隱私/匿名研究的一部分。最後Matthijs R. Koot還對Google表達了自己帳號不要被封的意願，因為他的Blog托管在Blogger。
發表於 2011-6-2 10:58:05
提升卡
沉默卡
变色卡