SEO：Google網站管理員工具的抓取錯誤解決方法

「抓取錯誤」是 Google網站管理員工具(Webmaster Tools)中最受歡迎的工具之一。它可以幫助你檢查錯誤的鏈接，不僅僅是URL鏈接，還包行DNS解析失敗、服務器鏈接、robots.txt 文件等問題，幾乎所有網站都會出現抓取錯誤。

$ ^5 v' h/ _, y# s3 [　　網站站長工具將錯誤分為兩類：網站錯誤(site errors)和鏈接地址錯誤(URL errors)。如果在一個網站上出現多個抓取錯誤，那麼你的網站信任度會下降，甚至會影響到排名，當然這工具對於百度優化同樣有效。那麼應當如何解決Google網站管理員工具的抓取錯誤呢。
. O6 E5 g7 N1 |: w
  S* z. x& s% Y8 b5 ?4 J通過Googlebot抓取的錯誤分類就看知道是什麼導致抓取錯誤的原因了。
) y6 @+ ~* A7 {
4 V0 v: ?; p+ r4 N( f, a　　一、HTTP的錯誤
/ A5 q' x- M8 J  B
3 [( V3 H0 k* p# f8 n- p7 k" _　　當一個網站上的網頁(例如，當用戶在瀏覽器中訪問您的網頁或Googlebot抓取頁面時)到您的服務器發出請求，服務器返回HTTP狀態碼響應請求。
; L, X4 C: e: D5 a/ f
　　如果出現403狀態，可以不用理睬，這表明是你的主機阻止了Googlebot抓取。對於所有HTTP狀態碼的列表文件，可以參考Google HTTP狀態碼幫助頁面。

　　二、Sitemap中的錯誤

　　Sitemap錯誤往往會造成404錯誤頁面，或在當前地圖返回一個404錯誤頁面，如果出現404錯誤頁面請檢查Sitemap中所有的鏈接，
$ A6 x! B3 G  }5 T* H
; t- g0 F8 R5 ]' ?' T2 J( [+ h　　Google會不斷抓取你已經刪除的Sitemap，這點很鬱悶，但也有辦法解決：確保舊的Sitemap已經在管理員工具中被刪除。如果不想被抓取，確保舊Sitemap出現404或者重新定向到新的Sitemap。

( `/ m& a1 k4 f/ k7 |　　來自Google員工Susan Moskwa解釋道：
6 L* N( ?* [4 `8 Y* [
6 o  Q* t: r, @' j7 ]0 k　　阻止Googlebot的爬行，最好的辦法是使這些網址(例如舊的sitemaps)出現404，當我們看到一個URL多次出現404後，Googlebot會停止爬行。
" k' ]+ K0 ]  T& m& O: n
　　三、重定向錯誤
3 {, {) C0 y0 y& S& B: c
　　有些錯誤是因為301從定向引起的，執行重定向後要注意什麼：

　　1：確保他們返回到正確的HTTP狀態碼。

4 Q. U9 X8 i) d# m. i% R　　2：確保沒有任何循環重定向。

: x6 p! h9 z) o) k; j　　3：確保重定向指向有效的網頁，而不是404頁，或其他錯誤頁，如503(服務器錯誤)或403(禁止抓取)
- R5 B7 L0 @+ h- F) A; v) L
& |0 u; I8 ^! o2 D3 V　　4：確保重定向不是指向一個空頁面。
6 k" z5 g2 \1 E, f
, `9 J9 ^5 u) M, b5 i6 |: r　　四、404錯誤

1 x1 |9 E  v+ o3 v　　404錯誤可能會出現在以下幾個方面：
* h! ?+ M: J8 \4 s4 C* [
　　1：刪除了網站上的網頁；

　　2：改變了網頁的名稱；
! o+ K4 U( C" E9 n$ V0 e
( T- c# V, B* V2 q. w  k9 H　　4：鏈接到了一個不存在的頁面；
5 f* C* h; n+ D& z
# n8 t" z* H4 l$ g　　5：其他網站鏈接到你網站上一個不存在的頁面；

  u$ {; y- m. h( G( j% |　　6：網站遷移到一個新的域名不完全匹配的網站。

3 ]# B: P% }. N3 \$ s* ]* @7 \; m　　五、受robots.txt限制

　　還有一個原因是robots.txt文件阻止了Googlebot的抓取，如果出現大量抓取錯誤，第一步應該檢查robots.txt
7 j& e5 u& ^6 h5 w5 m$ U
: u4 G$ E. K: u1 i% @2 J9 L: Z　　六、軟404錯誤
7 C4 t( V1 b0 w; q/ |$ l
) i# a: C0 {5 I. N2 I通常情況下，當有人請求的頁面不存在，服務器將返回一個404(未找到)錯誤。除了在響應請求的頁面不存在返回404代碼，服務器也將顯示一個404頁。 這可能是一個標準的「未找到文件」的消息，或旨在提供更多信息的用戶，它可能是一個自定義頁面。 頁的內容是由服務器返回的HTTP響應完全無關。僅僅因為一個頁面顯示404文件未找到消息並不意味著它是一個404頁。
0 F: G  M  m: k* T  ~
七、超時
) l) M: ?" [! ^7 ~& X) [
　　網站超時也是出現抓取錯誤的原因之一，如果出現超時現象，Googlebot會停止抓取。超時的錯誤類型有：
4 m! [9 D( T8 A5 v1 |1 ?
% e$ \9 D7 R5 Z- U　　1：DNS超時，可以使用Nslookup 命令檢測DNS，出現DNS超時最大的因素是域名服務商的DNS服務器不穩定。

* J! c: _+ G! A( g　　2：網址超時，在某一個特定頁面，而不是整個域的錯誤。

- V7 J5 A8 c1 L( i( j9 M　　3：robots.txt超時，如果你網站有robots.txt，但服務器超時，Googlebot會假定該文件不存在。
0 }( z7 K! c* l9 |4 P0 }% O
　　4：動態網頁的響應時間過長而造成網頁載入時間過長。

在網站上看到的，感覺很好，很有用，跟大家分享一下。

謝謝版主 ，頂一下，支持，
3 h8 v% H9 |- fhttp://www.i2source.com

Google網站管理員工具確實挺管用的

很好用的工具