搜索引擎不會告訴你的關於robots的潛規則

相信很多人都知道robots文件，但是他的真正用途，不知道瞭解的多不多。我在光年論壇看了一篇，覺得挺好的，就轉載過來了。

　　Robots文件是我們與搜索引擎對話的最重要渠道。

& d  F- L; d8 H4 o  A& m　　為什麼meta信息有這麼多種類，我們卻從來沒有在網頁上看到過它們呢？因為meta標籤的內容在瀏覽器上是不顯示的。絕大部分的meta信息是寫給搜索引擎看的，用於幫助搜索引擎判斷頁面的價值、重要性。
' A# E' L' t) ~. A0 l$ N
; R5 j* U% p/ s0 l% O0 Y1 e　　作為網頁設計者和搜索引擎交流的一個重要渠道，各種meta標籤提供了從不同角度描述頁面的基礎信息，而機器人在訪問網頁時也會首先讀取這個部分。
2 h# J& T# v; E) {6 h7 ]7 q" s
  ^% T* f+ ?+ L關於robots基礎閱讀：
+ r0 q0 v' @( Y# j4 r$ u; J9 x! Z
絕大部分 spider 能夠識別的是以下幾種：

　　noindex -【頁面會被抓取，但在被google的後台系統分析完以後會被丟棄，不會進入google的索引排序，對用戶而言也就不會出現在搜索結果中】
　　nofollow -【禁止googlebot追蹤頁面上的一切鏈接（阻止訪問）。（與meta級別的nofollow不同的是， link級別裡的nofollow只會阻止robot追蹤單條鏈接）】
　　noarchive -【禁止在搜索結果中顯示該頁面的快照】
* ]' x- x7 S3 o, G+ R" `　　nosnippet -【禁止在搜索結果的網頁鏈接下顯示內容摘要，同時阻止搜索引擎產生該頁面的快照】
　　noodp -【在搜索結果的頁面摘要部分屏蔽open directory project對該頁面的描述】
　　none -【等同於同時使用noindex和nofollow兩個參數】
　　robots文件的使用，有很多特別需要注意的，甚至很多知識點甚至搜索引擎本身都沒有給出詳盡的說明或者是使用方法。在參閱了大量的資料和結合自身的一些嘗試，本文將重點說明下，一些在對robots文件進行處理的過程中需要特別注意的潛規則：
6 R" P* v0 d  \4 Q, \' J% b
一不允許出現多條user-agent的記錄

　　一份「/robots.txt」文檔中不允許出現多條包含「user-agent: *」的記錄（但允許沒有此記錄）。
1 ~2 Y0 u. }5 p1 r: q3 |
% T& f5 a% p* |. P/ _! q, c8 J二- spider名字的大小寫問題

　　大多數搜索引擎的spider在讀取user-agent值的時候都是忽略大小寫，既Googlebot和googlebot應該都能被google識別。但是，我在學習淘寶seo的時候也發現，或許為了保險起見，淘寶的工作人員在自己的「/robots.txt」裡面分別寫了「user-agent: baiduspider」和「user-agent: baiduspider」兩條。（參
/ \0 |. j/ d6 h) m7 g
+ k$ N+ {4 D6 M8 V" n5 W5 d見：http://www.taobao.com/robots.txt）
  S# H$ ?$ \% J' g- x* {( N0 x6 ^- |4 a) w& h
# _& y  x: j8 o/ i0 y  G/ C三、allow和disallow的順序

& X( i- y/ m5 b. N0 Q4 N/ K　　大部分情況下，想要兼容所有的機器人，就應當將allow指令放在disallow指令的前面，例如：
( y& m( T3 l) Y: B6 k8 G
9 G, D- h7 M+ ~1 {. B, [Allow: /a/b.html
Disallow: /a/

2 z& G  r6 e) N7 K4 d　　這會阻止對"/a/"內除了"/a/b.html"以外一切內容的檢索，因為後者是優先匹配成功的。雖然對於google和百度來說，先後順序並不重要。但是不排除會導致其他搜索引擎出現抓取問題。
, f: P/ D, j! c7 N5 [6 y3 X4 L; |
四、allow與disallow的角力

　　如果allow指令中的地址同disallow指令中的地址相比具有相同或更多字符（意味著allow指令所描述的地址更「深」、更「具體」）的話，雖然disallow指令也能匹配，但allow指令仍然會「獲勝」（這樣就達到開放子文件夾的目的了，同時沒被allow的部分依然不會被檢索）。
- V' I8 W, c7 }2 w
五、反斜槓「/」的意義
- G+ J9 [* q5 z. M. Q0 d. H
0 K7 l& g7 a! r2 A5 y7 z　　反斜槓「/」表示禁止搜索引擎進入該目錄。
- t4 ]( R: M: b8 B) Y8 E, J: d
User-agent: spider
Disallow: /a

! F- d& q8 t* P4 ?. u2 c* N　　對這樣的記錄機器人該怎麼反應？按照res標準，機器人會將名為「a」的文件和名為「a」的目錄都disallow。當然，比較符合邏輯切清晰的寫法是使用「
9 y# q- j4 f, n$ \0 u
/」來標識所聲明的路徑：
# p0 f4 Q( s4 L+ C0 V
& R, ~& @- t5 g" M# C; MDisallow: /a/
7 f- R$ d5 W* R8 @" w5 l& z
2 m( W! S" `2 y1 u" D' a　　注意不要忘記「a」前面的「/」

5 z. [" V7 J" }  o8 }. \六、在指示行末尾加注的問題
+ Q2 |7 Z3 Y4 x
　　在「/robots.txt」文件中，凡以「#」開頭的行，均被視為註解內容，這和unix中的慣例是一樣的。例如：

: l. K% `0 @! h& ]; c$ l; O/ JDisallow: /cgi-bin/ # this bans robots from our cgi-bin

3 P! `9 N. i# Z1 Z9 n七、盡量不要在一行的前面出現空格，如「 disallow: /」《很多人非常不小心，空格就沒了》

　　Res標準並未對這種格式予以特別說明，但和上面一個問題一樣，可能導致某些機器人無法正確解讀。
" W1 ~9 R- F% |- l6 N  l
八.文件目錄區分大小寫（這個或許是困惑大多數人的）

　　雖然res標準忽略大小寫(case insensitive)，但目錄和文件名卻是大小寫敏感的。所以對於"user-agent"和"disallow"指令，用大小寫都是可以的。但對於所聲明的目錄或文件名卻一定要注意大小寫的問題。例如：
/ q7 u* R( y) W, N% r& S8 N
Disallow: /abc.htm
　　會攔截「http://www.example.com/abc.htm」
　　卻會允許http://www.example.com/Abc.htm
, Q: a8 B3 B" d  k. ]0 v3 o+ W
" Z" G9 W. ]4 `$ M% Z1 h+ ^- V　　所以在IIS服務器可能出現的 諸多 大小寫目錄問題，可以通過此方法得到圓滿解決。
8 K3 w) H8 ]/ b# N$ X6 M* A
- f/ V, b( B2 P九、如果頁面中包含了多個同類型meta標籤，spider會累加內容取值
7 s6 {5 G0 o! s4 V) h' J6 w
　　對於下面兩條語句來說：
0 u3 V" d6 N* \+ }: k& e! s<meta name="robots" content="noindex" />
<meta name="robots" content="nofollow" />

　　搜索引擎將會理解成：
<meta name="robots" content="noindex, nofollow" />

- x* x- ]3 `' d  O0 K/ u4 M十當內容取值衝突的時候，google和百度等大多數搜索引擎會採納限制性最強的參數

2 Q. `9 v9 |: z( l* `　　例如，如果頁面中包含如下meta標籤：
+ E$ e7 r3 a9 O+ h9 ^% Q<meta name="robots" content="noindex" />
<meta name="robots" content="index" />
' o( c2 [  y: ]. `. }& M　　Spider會服從noindex的取值。
1 D9 L# d- ?2 _
" d2 |5 E2 r0 d+ o8 h十一.如果你既用了robots.txt文件又用了robots meta標籤
$ Q- {8 L% U. O7 }; g: X
+ V# o! j4 Y! p0 h$ ~　　當二者出現衝突，googlebot會服從其中限制較嚴的規則
4 X$ |# g9 r* i% _
" ^2 P1 j$ S3 Y# K* i: a　　如果你在robots.txt中阻止了對一個頁面的檢索，googlebot永遠不會爬到這個頁面，因此也根本不會讀到這個頁面上的meta標籤。 如果你在robots.txt裡面允許了對一個頁面的檢索，卻在meta標籤中禁止了這一行為，googlebot會到達這個頁面，在讀到meta標籤後終止進一步的檢索行為。
6 e$ m; Z( I9 h. h5 l8 s7 `! J" u, }
6 t0 t# Z6 E+ R, o8 N3 P　　當然關於robots文件的使用，還有更多等待大家的挖掘和分享。
! p" A7 O+ F; k# _" H! A
P.S.附上一個robots.txt文件的在線檢測地址
6 d: f  b4 j7 F( f3 Y+ t) g6 dhttp://tool.motoricerca.info/robots-checker.phtml
& [" E6 ?& N" E
$ F0 ^0 B) Y% b9 P& D7 `來自sem9
. f3 W, _# _* P# e7 U% G) P: D

: D% C0 B3 D; d8 S