網站分析——我們的數據準確嗎？

【導言】在做網站分析的漫長歷程中，被問到最多的問題就是「你的數據精確嗎？」網站分析的數據究竟準確與否，如何看待網站分析數據可能存在的偏差，本文將會給出答案。
2 }8 q. _4 ?9 C2 ^【正文】
　　準確和精確在漢語裡面是近義詞，我們在口語中是可以混用的，英語中也如此，accurate和precise人們也是隨性而用，脫口而出。可是，既然有兩個詞存在，而沒有在文字演化的長河中消亡其中一個，就說明它們還是有微妙的不同。事實上，準確和精確絕對不是同一個概念，它們在工程學、統計學以及其他許許多多的科學中都被嚴格的區分，對於網站分析這麼新興的學科而言，也完全如此。

: H3 K& Z. |6 }# ?　　我們先看看準確和精確到底有什麼不同，然後再看看網站分析工具能夠做到準確還是精確，或是二者皆備。

———————我是快樂的分頁符（點擊文章標題看全文）———————

, O3 H' z3 Z0 _/ y, m. F6 a何為準確，何為精確　　維基百科上有關於準確和精確的極佳的解釋，堪稱經典詞條。這裡我用漢語向它致敬：準確是指現象或者測量值相對事實之間的離散程度小，也就是我們口語的「接近事實、符合事實」等；精確是指在條件不變的情況下，現象或者測量值能夠低離散程度的反覆再現，也就是我們口語說的「次次如此、回回一樣」等。下面這兩個圖特別經典，從維基百科引用而來：
+ B, _; Y- @8 N

圖1：這是指相對較高的準確度，但相對較低的精確度

圖2：這是指相對較高的精確度，但相對較低的準確度

　　上面的兩個圖中紅色的圓心代表著事實。可以看到，在圖1中，測量值圍繞著圓心，雖然分佈離散，但可以看出它們的平均分佈位置肯定在圓心中（或者說，多次測量值的平均值是符合事實的），所以可以稱為準確，但因結果離散而不能稱為精確。在圖2中，測量值明顯偏離圓心（測量值的平均值也不可能在圓心上），所以不能稱為準確，但可以稱為精確，因為測量值的復現離散度很低。這是對準確和精確的極好解釋。
9 J% F$ n7 m0 p  A6 ~" Y/ a9 I

[版權歸作者Sidney Song（宋星）所有，歡迎轉載，但請事先告知作者並註明出處]

　　如果我們把準確和精確作為兩個不同的維度建立矩陣，可以得到下面的圖：
* [( T. \- ~4 r2 C' w  K

圖3：準確和精確矩陣（圖片來源：www.wellesley.edu）

　　左上象限是我們最喜歡的，既準確，且精確——對物理學和絕大多數理工科的要求就是如此；右下角是最糟糕的情況，不僅不精確，而且不準確——這是生活中最常見的，我們的社會生活其實很離散也很混沌。
　　那麼，自然而然的你會問，網站分析屬於哪個象限呢？一定是左上角的象限對嗎？
+ e8 J9 E  Y8 w! `/ j( \網站分析是準確的嗎？　　首先，這個問題沒有固定的答案，因為網站分析的準確度很大程度上取決於你的期望和所採用的監測方法和所使用的工具。不過，就我們最常使用的網站分析方法而言，網站分析絕對不屬於圖3中左邊的兩個象限（即不屬於既準確又精確的象限，也不屬於準確但不精確的象限），更簡單說，就是網站分析的數據不會準確。
1 I% I6 [- i2 D8 q　　這可能會讓你失望，但相信並不出乎你的意料。你肯定已經發現，如果我們使用不同的網站分析工具衡量同一個網站的時候，各工具的結果之間有令人費解的差異（我們在為什麼兩個監測工具報告中的數據不同有探討箇中原因），而且我們也無法知道哪個工具是更準確的還原了事實上的數據。
　　所以，如果GA顯示你的網站在一個月內有36,954個Unique Visitor，你的網站的真實訪問者（一個個活生生的網友！）肯定不是36,954個！
- v, L# g  J# ~8 I　　事實上，我們幾乎找不出來任何一個能夠準確被統計的度量，即使是最基本最簡單的度量——Page View也是如此！
( U/ y0 a: k( r* ]　　因此，如果你的老闆想要100%沒有誤差地知道網站到底有多少個人訪問過，這個想要本身已經沒有意義。

[版權歸作者Sidney Song（宋星）所有，歡迎轉載，但請事先告知作者並註明出處]

為什麼網站分析數據無法準確　　你可能會吃驚，因為我們的物理學實際上也是不可能100%準確的，原因是我們都聽說過的「測不准原理」。同樣，網站分析也因為一個最基本的事實而無法準確，即：網站分析的監測媒介是瀏覽器和服務器，而不是真實的人，這注定了我們不可能尋求到準確的結果。
　　具體而言，就目前我們通常使用的兩種監測方法——Server Log和Page Tag都不可能準確對網站分析的一些最基本度量進行計數。
. v0 ~, [4 ~! UServer Log的誤差（Bias）：
! T; N. Z  F( P% n6 h

• Unique Visitor的誤差：

　　如果用Server Log的方法監測數據，那麼很顯然，獲取真實的訪問者數量是不可能的任務。本身Server Log對於訪問者的估算只能依據誤差巨大IP，而網絡爬蟲/機器人的訪問又使這種誤差進一步擴大。

• Page View的誤差：

　　本來Server Log是可以很準確的記錄Page View的，但是可惜Cache的出現讓這成為歷史。Cache極有可能會屏蔽服務器端的響應，這樣Server Log可能不會留下任何關於某次Page View記錄。
$ n$ K7 q) S3 G3 c/ |

• 時間記錄的誤差：

　　在沒有Cache干擾的情況下，服務器能準確探知訪問開始的時間，但是訪問結束的時間無法瞭解。因為訪問結束往往是隨關閉瀏覽器而一同結束的。關閉瀏覽器本身不能激發一條新的Server Log記錄。
( Y4 u* L  B9 r& [0 x" z

• Flash站點誤差：

　　如果一個網站主要構成部分是包含多個頁面的一個Flash文件，或多個此類Flash文件的組合，那麼Server Log不會記錄Flash內部的操作，監測會幾乎失效。
7 D% j5 j* V$ p( x7 ~Page Tag的誤差：

• Page Tag失效：

　　Page Tag失效是會發生的。首先，一部分瀏覽器（例如手機上的一些瀏覽器）不支持JavaScript或者被設置為JavaScript禁止。其次，Page Tag可能會因為它之前的JavaScript出錯而無法運行。再次，我們也看到過因為變量名衝突而發生Page Tag和頁面上其他JavaScript衝突而無法運行的案例。最後，受網絡速度的影響，頁面上的Page Tag沒有完全下載，瀏覽器就可能被人為關閉或者直接鏈向一個新的頁面。
　　顯然，如果Page Tag失效，那麼網站分析工具就會失去部分或者全部數據。
4 g5 l- z( M: |; q

[版權歸作者Sidney Song（宋星）所有，歡迎轉載，但請事先告知作者並註明出處]

• Page Tag的位置：

　　Page Tag在頁面中的位置會影響網站分析工具的計數。如果Page Tag在頁面的上端，那麼它會更快的被執行，受到其他因素（例如Page Tag之前其他JavaScript失效或者網速問題）干擾的情況就越小，計數也就會因此增大。Stone Temple Consulting的統計表明，代碼在上的情況下，Visitor計數比在頁面下的多4.3%。
; S& f5 @9 n" a8 E

• Unique Visitor的誤差：

　　一個計算機可能被多人使用；一個計算機可能有多個瀏覽器（造成訪問同一個網站有多個Cookie）；人們會刪除Cookie（2007年comScore的統計表明，一個月內有30%的美國用戶會刪除瀏覽器的Cookie）；Cookie被禁用（儘管WA工具一般都使用第一方Cookie，但仍有約10%不到的第一方Cookie會被用戶設為禁止）。
& B/ |5 }/ X* v8 m0 I" K# U

• Page View的誤差：主要由Page Tag失效引起。
• 時間記錄的誤差：同Server Log一樣，Page Tag能夠準確記錄訪問開始的時間，但是結束時間無法瞭解，因為一般情況下訪問的結束並不會觸發Page Tag的執行。

　　由於諸如Page View，訪問者和訪問時間之類的基本的度量實際上是無法準確記錄的，因此其他一些更高級的度量，例如我們常用的復合度量（Bounce Rate，Avg. Time on Site）就更不可能準確了。不過，知道了這些誤差產生的原因，有助於我們進一步修正誤差。有些監測工具（例如DoubleClick，一個廣告監測工具）具有自修正功能，就是利用了這個原理。
其他監測方法的誤差：
　　網站分析的其他獲取數據的方式——比如通過客戶端的軟件搜集數據（Alexa，iResearch等），以及Sniffer（包嗅探）——則因其本身的監測方式所限，會有更大的誤差。例如，通過客戶端來搜集數據，很顯然存在樣本量的偏差；而Sniffer本質上是Server Log方式的翻版，但卻增加了包丟失以及數據記錄有限的問題。它們不可能比我們前面的兩種方法更準確。
9 v! J1 M9 Y' W! u( K

[版權歸作者Sidney Song（宋星）所有，歡迎轉載，但請事先告知作者並註明出處]

網站分析工具精確嗎？　　現在，你知道了網站分析工具並不能準確計數。那麼，網站分析工具精確嗎？
　　我要說，精確是網站分析工具的必備特徵，網站分析工具做不到準確，但必須精確。如果某個網站分析工具不精確，那麼它就與垃圾無異。
: G2 N7 j/ D! F' @# m　　網站分析工具必須精確的原因很簡單，因為我們需要數據具有高度的一致性。如圖4（下圖）所示，如果網站分析工具的精確度存在-20%到+20%的誤差，那麼假設11月4日的網站準確流量是50個UV，網站分析工具所報告的數值可能是40和60之間的任何一個數。同樣，我們假設次日（11月5日）的網站準確流量是51個UV，那麼網站分析工具所報告的數值可能是41到61之間的任何數。那麼，因為存在不精確，那麼11月4日的數據有可能最終呈現40，而11月5日的數據則完全可能被最終呈現為61，這樣網站分析工具會誤報出一個令人滿意的增長——但事實上這個增長並不存在。反過來，如果11月4日的數據被報為60，而次日被報為41，那麼更糟糕，這與實際情況是完全相反的。
% h3 z: }7 `; v! W# R

圖4：如果網站分析工具不精確會產生嚴重後果

　　因此網站分析工具必須精確，如果它與事實有-20%的誤差，那麼不論是哪一天哪一刻，它都必須比準確值小20%。否則我們就會得到錯誤的結論。當然，100%的精確也是不存在的，一般而言，允許+/-5%左右的系統偏差，這一來一去其實已經有最大10%的分離度，實際上已經是非常寬的標準了。
　　網站分析工具不能做到100%精確的原因其實也是受跟上一節的那些因素一樣的影響，另外還有一些網站訪問者所處環境的變化造成的未知異常，例如網絡帶寬的變化或是數據傳輸過程中的異常丟失等。
3 X2 d8 R8 o5 F1 J& r　　那麼，我們實際使用的網站分析工具精確度如何？如果5顆星是滿分最精確的話，那麼：
) s% g* Y( o/ D$ ~/ k　　Google Analytics，精確度3顆半星，可以及格。但是我們的朋友Ben（曾海銀）和我都發現Google Analytics並不完全精確，這可能與數據的再處理有關係。Ben的案例中出現了+/-20%的情況，但極為罕見。其他的朋友有發現嗎？
' v/ |* E5 K! T3 F1 Y! O　　Omniture，精確度4顆星，較好。當然，我沒有辦法去驗證，只是因為他們家的數據比較少給我惹麻煩，也比較少有無法解釋的時候。但是Omniture的問題在於，定義的度量太多，且相同度量的定義在不同場合給出的數值不完全一致——實在是一個太龐大的數據系統了。

[版權歸作者Sidney Song（宋星）所有，歡迎轉載，但請事先告知作者並註明出處]

　　WebTrends，4顆半星。評分較高的原因在於WebTrends是實施在網站服務器端，或者是被網站所有者所擁有的，所以被外界環境干擾的情況相對較少。這是一個先天優勢，毋庸置疑。
" i1 i. U  M! M7 W/ F- S如何面對網站分析工具的不準確但精確的特性？　　網站分析工具不準確但精確的特性不妨礙我們獲得真正的insight（見解）。我們需要遵循三個網站分析的基本原則（簡直是我壓箱子底的寶貝了）：
原則一：趨勢。
　　看趨勢而不是看孤立數據是網站分析最重要的原則。你不可能因為網站今天的流量是500個而狂喜，但是如果上個月的平均流量是300，而這個月的平均流量是500，那麼我會恭喜你，你也值得高興一番。我們在以前的文章中對這個有討論哦。
- d6 _$ K2 @) M  g8 T, A: a/ i4 n　　由於網站分析工具是精確的，因此雖然不能準確反映數據，卻能夠準確反映趨勢。這也是我們所有的網站分析師會認為趨勢是最重要的方法論的原因。
原則二：細分。
7 Z6 T, c0 U% I3 ^　　因為網站分析工具的精確性，如果整體值比實際準確值偏小20%的話，那麼構成整體的各部分也會同比比各自的準確值偏小20%。因此，比較所需要的細分仍然能夠滿足分析的需要。
原則三：轉化。
　　與細分類似，精確性能夠保證轉化是同比放大或縮小，因此轉化本身的比例是準確的。
+ C, g6 y. E9 y3 J: j" Z　　如此看來，我們最後要得出的結論是：真正幫助我們進行網站分析的關鍵方法所需要的數據是準確的。因此，當我們理解並且學會運用網站分析的三原則之後，我們會把網站分析工具所在的象限轉移到左上角的象限——即既準確且精確。真的，網站分析工具最終準確與否，在於你是否用好了它，這是唯心的結論，但確實是真正的真相。

學習了,我原來也是做為參考數值的.

感謝幾何大大的分享

有好的免費的流量分析工具嗎?

有好的免費的流量分析工具嗎?
9 W9 L. e5 w, x; ]888418 發表於 2009-11-30 09:10

* W6 x* Y+ _& @http://advertcn.com/viewthread.php?tid=74999&extra=page%3D1