輕鬆獲取 3500 萬個 Google Profile 信息

今年2月，安全研究專家Matthijs R. Koot很輕鬆的獲得了一個包含有3500個Google Profile信息的數據庫，包括有3500萬個用戶的Twitter說話記錄、真實姓名、Picasa圖片和郵件地址。由於每個人的Google Profile幾乎都是開放的，所以他輕鬆就批量抓取到了3500萬個人的信息，保存在一個SQL數據庫裡。

1 q4 \6 m, |3 h0 ~Google對其大規模大批量抓取Google Profile的行為沒有進行反應，就是說Google沒有阻攔他的爬蟲，沒有任何驗證碼機制，毫無限制的就允許他輕鬆的在一個月內的時間裡使用spidermonkey和其它Javascript代碼持續下載到了所有的信息，然後將他們轉移到數據庫裡保存。

實際上從2008年開始，Google的profiles-sitemap.xml就一直存在，其中包含了指向7000多個sitemap NNN(N).txt的文件，每個文件又包含了5000個指向Google Profile的超級鏈接，總共就是3500萬個。比如從sitemap-000.txt裡即可得到：

https://profiles.google.com/117135902571938793602
https://profiles.google.com/112006952710949332145
https://profiles.google.com/105382462492606983441
6 Z4 _8 F- U9 {. vhttps://profiles.google.com/109299750146769054739
https://profiles.google.com/104555562341640123846
https://profiles.google.com/112956845518767535694
# w2 i; d8 e6 \; j1 A! q3 `然後排出爬蟲抓取這些地址，即可得到3500萬用戶的Google Profile裡存儲的信息。實際上這一做法也是合法的，因為Google.com的robots.txt文件其實允許爬蟲索引Profile目錄，其中有這樣的字段：

2 P( }- L/ `5 ]( g# JAllow: /profiles
+ T& h6 p$ r, c, x- S" rAllow: /s2/profiles
Allow: /s2/photos
  X8 _6 z* D4 P( ?/ x. h5 vAllow: /s2/static
Matthijs R. Koot的這一研究實際是自己在阿姆斯特丹大學所做的隱私/匿名研究的一部分。最後Matthijs R. Koot還對Google表達了自己帳號不要被封的意願，因為他的Blog托管在Blogger。

這個確實不錯，也許可以用來發郵件

強大的數據

開放的google　profile

很難用的上

我訪問這些鏈接怎麼是空白頁

裡面是有數據的，不過只有少部分有郵箱和詳細情況，還是有價值的。

要搜索還在分析數據~~

違法的事情還是不要去做

違法的事情