[轉帖]為網站的Web Robot 設計路標

Internet越來越酷，WWW的知名度如日中天。在Internet上發佈公司信息、進行電子商 務已經從時髦演化成時尚。作為一個Web Master，你可能對HTML、Javascript、Java、 ActiveX瞭如指掌，但你是否知道什麼是Web Robot？你是否知道Web Robot和你所設 計的主頁有什麼關係？

( v, q4 C- r, _- I

, k0 B2 q; T3 E  x3 XInternet上的流浪漢--- Web Robot
' G! w+ Z1 [( m8 }/ |* T) g+ |
- Z6 i% c2 c$ G6 |

　　有時你會莫名其妙地發現你的主頁的內容在一個搜索引擎中被索引，即使你從未與他們有過任何聯繫。其實這正是Web Robot的功勞。Web Robot其實是一些程序，它可以穿越大量Internet網址的超文本結構，遞歸地檢索網絡站點所有的內容。這些程序有時被叫「蜘蛛（Spider）」，「網上流浪漢（Web Wanderer）」，「網絡蠕蟲（web worms）」或Web crawler。一些Internet網上知名的搜索引擎站點（Search Engines）都有專門的Web Robot程序來完成信息的採集，例如Lycos，Webcrawler，Altavista等，以 及中文搜索引擎站點例如北極星，網易，GOYOYO等。


. Q1 Z8 Y; m: L7 f/ u
　　Web Robot就像一個不速之客，不管你是否在意，它都會忠於自己主人的職責，任勞任怨、不知疲倦地奔波於萬維網的空間，當然也會光臨你的主頁，檢索主頁內容並生 成它所需要的記錄格式。或許有的主頁內容你樂於世人皆知，但有的內容你卻不願被洞察、索引。難道你就只能任其「橫行」於自己主頁空間，能否指揮和控制Web Robot的行蹤呢？答案當然是肯定的。只要你閱讀了本篇的下文，就可以像一個交通 警察一樣，佈置下一個個路標，告訴Web Robot應該怎麼去檢索你的主頁，哪些可以 檢索，哪些不可以訪問。

# y% e8 |$ l" k" j$ R. U6 H1 Z7 U4 C

　　其實Web Robot能聽懂你的話
8 U( h' q* }% V+ k1 |  b


9 o  t8 o/ z$ e, d　　不要以為Web Robot是毫無組織，毫無管束地亂跑。很多Web Robot軟件給網絡站點的 管理員或網頁內容製作者提供了兩種方法來限制Web Robot的行蹤：
- s5 C. t& ?6 O
9 i* P$ c" N6 y( n+ f5 X% y7 R
9 s+ C4 V7 \3 A2 U7 g% S5 r
　　1、Robots Exclusion Protocol 協議


& ]6 ^: }" s- \& ^. x
/ r8 |8 u* v6 ?- f8 @- U! l　　網絡站點的管理員可以在站點上建立一個專門格式的文件，來指出站點上的哪一部分 可以被robot訪問, 這個文件放在站點的根目錄下，即 http://.../robots.txt
8 x- P( ?2 i, t0 s2 _5 t5 {2 S

& R6 b' \+ x2 S9 {7 r: c
　　2、Robots META tag

+ i* _7 F/ r" l3 F0 Q$ I

1 v, J# n8 t( q- y. @& `　　一個網頁作者可以使用專門的HTML META tag ，來指出某一個網頁是否可以被索 引、分析或鏈接。
9 j  g! k5 U  e


　　這些方法適合於大多數的Web Robot，至於是否在軟件中實施了這些方法，還依賴於 Robot的開發者，並非可以保證對任何Robot都靈驗。如果你迫切需要保護自己內容， 則應考慮採用諸如增加密碼等其他保護方法。

) U2 h% T) ], p! Z

0 G5 d, h1 g9 ^3 \9 j) q. v% h　　使用Robots Exclusion Protocol協議



　　當Robot訪問一個 Web 站點時，比如http://www.sti.net.cn/，它先去檢查文件http: //www.sti.net.cn/robots.txt。如果這個文件存在，它便會按照這樣的記錄格式去分析：
. I" c: G$ V/ ^( t
3 P6 e* }/ t0 e# R& i1 F; m

5 Z7 e' g2 j+ i7 ~User-agent: *
3 J- Z) x7 |6 g5 c& V2 hDisallow: /cgi-bin/
3 m: c- F% B" U- G$ g2 L9 S5 Q8 DDisallow: /tmp/
Disallow: /~joe/



8 N) b0 p5 e/ }# N: L7 h% m　　以確定它是否應該檢索站點的文件。這些記錄是專門給Web Robot看的，一般的瀏覽 者大概永遠不會看到這個文件，所以千萬不要異想天開地在裡面加入形似<img src=*> 類的HTML語句或是「How do you do? where are you from?」之類假情假意的問候語。

0 h/ e0 I" i1 P' T4 |
& t* S" i7 R+ f* ~" g" z
% ?* {2 t  k- I. ^7 ?　　在一個站點上只能有一個 "/robots.txt" 文件，而且文件名的每個字母要求全部是小寫。在Robot的記錄格式中每一個單獨的"Disallow" 行表示你不希望Robot訪問的URL， 每個URL必須單獨佔一行，不能出現 "Disallow: /cgi-bin/ /tmp/"這樣的病句。同時在一個 記錄中不能出現空行，這是因為空行是多個記錄分割的標誌。
+ S, t# K" A* @; A9 K0 A

4 I3 a) x- S. O" s; j2 E; K9 @
　　User-agent行指出的是Robot或其他代理的名稱。在User-agent行，'*' 表示一個特殊的含義---所有的robot。
) G1 O! H5 v" q5 I2 |" t

/ s( ^! [3 L% A" g
　　下面是幾個robot.txt的例子：



1 u8 N; z# U' ^: K: m3 D　　在整個服務器上拒絕所有的robots：
* h: D0 z2 X9 g9 O' n

& @% ~9 |0 u8 }# s8 ?/ R9 Z2 {
" m  T( U: S; R1 M+ c/ k+ wUser-agent: *
$ k! b# I7 e5 z' I3 {( I! M& UDisallow: /
! k8 q5 C3 _& A" g4 i# I% r0 K
! f2 v  A; A) ^% w9 g8 P3 y
" u, |4 X5 m) F+ n7 T
允許所有的robots訪問整個站點：
User-agent: *
9 Z- W- q: V. hDisallow:
或者產生一個空的 "/robots.txt" 文件。
0 J$ T( B" g( X
; Q; x) \; I& o) A: h
' `6 v0 m% B- u) |7 N; p, g3 g
服務器的部分內容允許所有的robot訪問
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
1 c5 c3 y/ T9 p. Q) Y) C2 G+ A0 z
' X* u( D# S2 s& i1 G% \! J
6 o: G- I5 a! i
- D) t. v3 K/ X: Y/ q拒絕某一個專門的robot：
, H, l0 p- l3 Z% l' gUser-agent: BadBot
Disallow: /

) Q* [" I+ f6 p8 c1 G/ s1 F( j9 u1 \

只允許某一個robot光顧：
User-agent: WebCrawler
" a8 l- n2 X0 KDisallow:
User-agent: *
Disallow: /
2 Q3 n: {9 P7 B" k' P* ]% c

1 w2 T3 K8 s% B" J
最後我們給出 http://www.w3.org/站點上的robots.txt：
( Z. Q; q& H" P1 a! }& j# For use by search.w3.org
: r/ T0 Q" N' L! c% u7 b7 A% b4 tUser-agent: W3Crobot/1
Disallow:
5 S* ]0 b) ^' s$ BUser-agent: *
; z" J7 }$ b+ z! ODisallow: /Member/ # This is restricted to W3C Members only
* D1 v4 _/ n$ h) cDisallow: /member/ # This is restricted to W3C Members only
" M  |& o8 S; V$ E  Q5 u. Z4 mDisallow: /team/ # This is restricted to W3C Team only
* q7 [# w. g- L8 g4 @Disallow: /TandS/Member # This is restricted to W3C Members only
" X2 O" p4 c+ NDisallow: /TandS/Team # This is restricted to W3C Team only
Disallow: /Project
Disallow: /Systems
  W; h6 r/ j, z: e' F9 DDisallow: /Web
5 a) R0 ^: V1 |, X! H5 R6 W+ ADisallow: /Team


/ n" v3 F, W$ W! ~
　　使用Robots META tag方式


: b' E# V% c( `  S3 `8 r
　　Robots META tag 允許HTML網頁作者指出某一頁是否可以被索引，或是否可以用來查 找更多的鏈接文件。目前只有部分robot實施了這一功能。



7 u- Z. g# M' ]　　Robots META tag的格式為：

  @9 a0 V; c7 }( U8 ]8 @( ]

8 _9 R" o$ [3 G<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
像其他的META tag一樣，它應該放在HTML文件的HEAD區：
<html>
<head>
<meta name="robots" content="noindex,nofollow">
<meta name="description" content="This page ....">
+ I4 `% I. ~. y& u1 _<title>...</title>
</head>
<body>
/ w0 b$ d7 ]9 Y3 [...
9 B* }" `, b( A' d9 L6 r6 r1 k+ q( @


$ a( p. B' Y$ S. m1 u6 k  r　　Robots META tag指令使用逗號隔開，可以使用的指令包括 [NO]INDEX 和[NO] FOLLOW。INDEX 指令指出一個索引性robot是否可以對本頁進行索引；FOLLOW 指 令指出robot是否可以跟蹤本頁的鏈接。缺省的情況是INDEX和FOLLOW。例如：
7 E4 k4 X9 w! y+ V8 I7 y$ q
" F3 j+ v. J: @6 i1 {: m

; b4 A3 h5 l$ \: g9 K& k$ w<meta name="robots" content="index,follow">
) M; ^; O" F- @  h<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
* A4 g- B0 X9 x* P+ Q# P
$ J( T& O/ I5 S. i- |- p: d9 T( E

　　一個好的Web 站點管理員應該將robot的管理考慮在內，使robot為自己的主頁服務， 同時又不損害自己網頁的安全。

恩，慢慢看，否則消化不良

看不懂啊。呵呵