PPCblog.com呈現給我們一幅由Jess Bachman（在WallStats.com工作）精心描繪的示意圖，這張流程圖展示了每天擁有3億次點擊量的Google搜索按鈕背後搜索引擎在那不到1秒的響應時間內所進行的處理。這張流程圖演示了在你點擊Google搜索按鈕後，在Google返回查詢結果前那一眨眼的功夫裡，Google是如何處理你的搜索請求的？這可是搜索巨人Google年贏利額高達200億美元的殺手級應用，也是Internet首屈一指的商業和技術神話，大家肯定都想知道Google這棵搖錢樹背後的秘密。6 ?" X7 W7 R- s! [$ T8 }% T
( g* U. d- H4 r# f* _- CGoogle官方對其搜索技術的敘述
4 _* I7 F- m7 P* _0 k
- k. G/ ^/ O: ~. p. Z 我們搜索技術的後端軟件會在服務器側觸發一系列執行時間不到1秒的並行計算，Google問世前的傳統搜索引擎的搜索結果嚴重依賴於關鍵詞在頁面上出現的頻度，我們使用了200多個指標信號（其中包括我們擁有專利的PageRank頁面等級加權算法）用來檢查萬維網的鏈接結構（佩奇和布林最初的想法是把萬維網的鏈接結構用圖論的有向無環圖來建模）並決定網頁的重要程度，我們假定一個網頁的重要程度取決於別的頁面對它的引用，就像學術論文中的引用指數一樣，重要的論文總是會被很多其他論文引用。然後我們再根據搜索條件進行超文本匹配分析（對bot抓取的頁面內容進行關鍵詞倒排索引檢索）確定跟搜索請求最相關的網頁。綜合最重要的網頁和跟搜索請求最相關的網頁兩個方面，我們就能按重要程度和用戶搜索請求相關程度把查詢結果排序後呈現給我們的用戶。, Y! m0 h* r7 e8 j
; v, e# K H* X- i i
數據中心：Google用來索引世界的塔
- u4 s: M, t% V8 |* o! {% N) Y9 C' u9 Z
Google的數據中心高度機密，我們能瞭解到的不多：
z4 |0 m$ |4 g; m3 ]& ~/ i1 F
& ?4 C. k3 j; Y- H 1． 在美國本土有19個以上的數據中心，其餘17個數據中心分佈在美國以外的世界各地。
J x. J7 O9 u* @9 Y3 ?7 H, S3 }. n5 q
2． 每個數據中心有50萬平方英尺那麼大，建造一個數據中心要花費約6億美元。
. `) I6 Q# m) i* L. n3 y- n" d+ @+ z
3． Google數據中心是世界上最高效的設施之一，而且也非常環保，幾乎沒有碳排放。
0 _, a. Z; `, s0 u. l; S* G/ t* J8 h- W6 {) Z5 x/ s, k$ f
4． 數據中心使用50到100兆瓦的電力，由於需要冷卻，通常建在便於用水的地方。
% e( {' @* ^) A1 Y' N% C2 Y$ N8 F: j, p; |* F+ M! e( O' p6 f1 H
5． Google服務器安置在一個一組容得下1160台服務器的有房子那麼大的標準集裝箱容器中。
3 z) E7 f4 g; j5 K
7 |3 U" d* S _ 處理流程
$ B" d! P3 c j( U" ]# ~! B: M B7 B2 v% J
1．你寫Blog、或在Twitter上推微博、更新站點等諸如此類往Web上添加內容的操作
4 K' P) O; |. a' I$ w4 |
8 H/ T3 W1 O* M& s5 w 2．Google bots程序（一種作為搜索引擎構件的智能代理程序）抓取你網頁的title和description、keyword等內容
7 j0 {3 B3 v7 Z" E9 G. m* |+ m
7 D* D7 ?3 e0 v& h% ], C （1）Google爬蟲沿著鏈接路徑周遊萬維網，如果沒有超文本路徑到你的站點，你的站點將不會被索引, P2 n: Y+ q2 \1 Z6 w$ _
$ ^8 }0 j3 e9 R, V
（2）如果你在robots.txt中設置不許索引，Google爬蟲程序將不會抓取你的網頁
: M! [4 m# O$ b" [( q! L
6 L1 O7 Q; p3 d e/ z/ l4 z2 R9 r （3）如果鏈接到你站點的超文本鏈接上有nofollow標籤，Google爬蟲將不會從這些鏈接路徑周遊到你的站點。8 B1 {! q# N3 }5 c3 k# W" b" }
: Y# ?* u) N. N2 m0 t+ m
（4）Google也能通過blog軟件或xml站點地圖找到你的網站! g" ?3 W9 J5 [
6 ]. t& I+ h' S6 Q2 B
（5）從PageRank越高的網站鏈接到你的網站的鏈接越多，你的網站的PageRank就越高。( n c0 A# E- L
4 r! T" W: o( Z
（6）Google爬蟲將周遊所有未標注為nofollow的鏈接
m9 _# s( Z; b, C5 p
6 V5 `1 N1 o$ D* Y 3．一旦被Google爬蟲訪問到，網頁幾秒內就被索引了
1 h; _: e* L L0 o7 X1 E3 E! b" b
5 T# R& ^' H' _9 K （1）網頁內容被存儲在一個倒排索引中
1 J2 h. e( b3 Y9 q1 d+ i
1 Y# v, L, y; _/ ?% y; H$ e" v １ 網頁標題和鏈接數據被保存在一個索引中，用於廣度優先搜索1 ~7 p) O& T# `% }3 ^
; U: @; i X( P6 l. I' G) e
２ 網頁內容保存在另一個索引中，以用於檢索頻率不高的長尾、個性化、深度優先搜索7 x' d* [1 g+ O
. u5 z. I1 N1 x3 K% r （2）當你用Google搜索時，你並沒有在檢索時時更新的萬維網，而是在檢索Google的緩存，Google定期更新其索引庫，在Twitter實時搜索等的競爭下，Google的索引庫更新週期趨短。$ K" x# Z6 v& W4 ~6 s" q' X% W
s5 M N" D* z& _; j3 z
4．Google基於鏈接評估域名和網頁的總體PageRank值。& I- F/ S2 o) H- `/ W2 ?, P
) ^; q: r# H) d. p
5．檢查網頁以防止emu行為# X8 r& \6 H- E& V1 r. b3 ]
8 y; F6 a4 h1 t2 v C) I2 P
(1) Google的搜索質量和反垃圾信息審查和優化算法! u5 r( }4 m# V& l, l5 ^% h) t
S- P! k! D+ u7 X/ u (2) 1萬多遠程測試用戶評價搜索結果的質量! G5 Y$ s% ]6 j1 L' p1 J
0 ~" i; C# o' b q3 P8 r
(3) Google征請用戶對有PageRank訛詐嫌疑的垃圾信息進行舉報
. `9 b/ _" z; M& C) a; U0 F# I+ ]% R1 y9 f4 \/ l* _1 e
(4) Google接到 (美國)數字千年版權法案的通知，要求Google從搜索結果中剔除涉嫌盜版的內容# g0 a7 q5 d1 t, S
$ U* ~+ M$ M: \: } 6．在對頁面做了損害分析後，現在每個頁面都有很多用於輔助用戶搜索的數據片（比如檢索關鍵詞）反向引用著它, b+ R( C& [( L! N8 u
& _ @' U. F, ?: s/ \; T, Y
7．用戶發出搜索請求3 q& s4 Q( p4 Z: p
3 n! F' l- {7 n" s: M' q" T# a （1）Google搜索質量工程師Patrick Riley：在大多數Google搜索中，你的搜索處於許多並行的控制過程或Google實驗室的創新項目組過程中，可以說每一個查詢請求都會參與一些Google的創意實驗。
; g# h$ Y1 Y: \. I) g7 y; |9 X3 g; u4 f" D
8．Google會用同義詞匹配與你的搜索關鍵詞語義相近的查詢結果
- r1 G2 h$ h5 w6 m2 N- H; D5 [) m1 y0 \
9．生成初步的查詢結果/ c( B8 }# p/ N- e" N) d
2 \% ^6 B) S" Q8 R- u
（1）Google當然能返回成千上萬數量無限的查詢結果，但一般只顯示不到1000條的查詢結果，出於「少則得，多則惑」的考慮。（2）對查詢結果做本地化處理，本土站點在查詢結果中優先出現' x7 P4 v$ i" S( X5 R
: u! ?/ ^7 V5 R5 s, E3 C
10．對查詢結果集按權威性和PageRank進行排序，重複的查詢結果被剔除。
3 l) h- S# Y! O. ?7 V( |! l' V/ O0 ]7 R
(1) Google根據關鍵詞、廣告類型、用戶所處位置找出相關的被競價拍賣的關鍵詞廣告
' C9 _0 z Q/ M! e0 Y" @, A* C0 K. {, g3 d; O% A" I# ?
(2) 關鍵詞廣告必須遵守當地法律條文2 d9 y* o+ j3 F* ^
+ }9 X1 `0 P( i
１ 廣告業主的非法廣告將被取締
. g/ ]8 \* v+ e6 w+ h* e7 V; A6 a' `; N* W/ X
２ 如果關鍵詞的搜索流量過低或關鍵詞廣告點擊量偏低，則會被自動禁用
+ S Z. v8 z, O
4 B) M) r6 s0 o ３ 出於商業策略，像亞馬遜這樣的客戶會給予優惠折扣。7 {/ r1 Y# k$ \) W! C
9 c+ r9 X2 I2 j (3) 關鍵詞相關廣告按收益潛力（對關鍵詞進行競價拍賣後的廣告質量不斷進行評估）排序0 x: r- R4 z6 S" P, M5 e% `
* f! D* s+ x: q, p9 h; e. `0 Y
(4) 對廣告業主來說廣告內容一般都是固定的，但有時使用動態關鍵詞使關鍵詞廣告與搜索關鍵詞相關度更高
5 e# I2 d; Q, v5 x' u
5 Z+ q* P+ \) W) D １ 一些廣告本身允許增加易變的附屬信息，比如網站鏈接、電話號碼、產品鏈接、地址等
- c$ T2 o8 p7 L
. o* [ r) J$ i( N6 N (5) 當廣告擁有了相當高的點擊率，則會顯示在搜索結果列表的上方，以使其更顯眼。, N6 ?5 z2 D5 r) M, J' y! P* t
) f- F6 O( c' G$ B: G+ w (6) 其餘的廣告依序顯示在相應的位置2 a W5 M7 n5 A+ ]' ?6 F$ T x
, D; c) j" i, V0 {/ S 11．對查詢結果進行過濾處理: m0 w W7 g' H8 A) T- r8 ]. A
+ y% A% u) t. x& Q: w: W# } (1) 對通常的查詢（比如在Google首頁上發出的搜索請求），Google會把相關的專題性垂直搜索結果（比如新聞、購物、視頻、書籍、地圖等）也加到返回的查詢結果中/ [. g+ B4 A7 f# u; K
0 Q+ ?; h2 }, w$ D. n (2) 個性化方面：用戶訪問過的網站在查詢結果列表中會更靠上1 M: k; B. v- n$ W
7 o- d2 P8 A/ A5 d# L) l
(3) 大量使用錨點的網站有可能被從查詢結果中刪除
" @+ @8 X$ D# Q2 y+ ]
3 s5 _1 F. F6 c; }$ w) | (4) 搜索結果集的聚簇性：如果網頁被其他高PageRank的網站引用，則網頁的重要性會大大提高。) N1 A" e2 z' r- j0 T Z0 q- `
V: i% k; h( Y$ s5 p* g7 Z3 e
(5) 趨勢分析：對搜索流量爆增或有大量新聞的搜索關鍵詞，Google會在新的查詢結果中增加額外的PageRank權值。（Google有反映關鍵詞搜索流量的Google趨勢專題頁面）
K$ j: O, f$ j
K. r4 _7 x. r x% d) k (6) 同一個域名下的多個網頁如果具有相同的PageRank會被歸為一組。
7 W7 N2 O4 v) E V( G& _6 F. l
3 x* M' Q) w, Q# t" D d' f 12. 最終返回給瀏覽器端的用戶一個人性化的、佈局良好的、查詢結果和廣告涇渭分明的有機查詢結果頁面。# u$ P- u- w" A" L7 q( z5 R
" j; U& Z. C1 L m) _. j: g/ f! e+ u 所有這些步驟在總共不到1秒的響應時間內完成，每天3億次的點擊量給Google帶來了超過200億美元的年收入。 |
評分
-
查看全部評分
|
發表於 2012-6-4 11:20:31
提升卡
沉默卡
变色卡