[轉帖]為網站的Web Robot 設計路標

Internet越來越酷，WWW的知名度如日中天。在Internet上發佈公司信息、進行電子商 務已經從時髦演化成時尚。作為一個Web Master，你可能對HTML、Javascript、Java、 ActiveX瞭如指掌，但你是否知道什麼是Web Robot？你是否知道Web Robot和你所設 計的主頁有什麼關係？
7 A, W$ {" i! J" i% X% }


Internet上的流浪漢--- Web Robot



　　有時你會莫名其妙地發現你的主頁的內容在一個搜索引擎中被索引，即使你從未與他們有過任何聯繫。其實這正是Web Robot的功勞。Web Robot其實是一些程序，它可以穿越大量Internet網址的超文本結構，遞歸地檢索網絡站點所有的內容。這些程序有時被叫「蜘蛛（Spider）」，「網上流浪漢（Web Wanderer）」，「網絡蠕蟲（web worms）」或Web crawler。一些Internet網上知名的搜索引擎站點（Search Engines）都有專門的Web Robot程序來完成信息的採集，例如Lycos，Webcrawler，Altavista等，以 及中文搜索引擎站點例如北極星，網易，GOYOYO等。


) C( @3 v; \9 K+ R) p/ k9 M+ D
　　Web Robot就像一個不速之客，不管你是否在意，它都會忠於自己主人的職責，任勞任怨、不知疲倦地奔波於萬維網的空間，當然也會光臨你的主頁，檢索主頁內容並生 成它所需要的記錄格式。或許有的主頁內容你樂於世人皆知，但有的內容你卻不願被洞察、索引。難道你就只能任其「橫行」於自己主頁空間，能否指揮和控制Web Robot的行蹤呢？答案當然是肯定的。只要你閱讀了本篇的下文，就可以像一個交通 警察一樣，佈置下一個個路標，告訴Web Robot應該怎麼去檢索你的主頁，哪些可以 檢索，哪些不可以訪問。



　　其實Web Robot能聽懂你的話
* w0 G2 H6 ?! O+ P, `; n' B/ r
+ L8 {9 D6 V) G3 F( H1 y8 X2 E

　　不要以為Web Robot是毫無組織，毫無管束地亂跑。很多Web Robot軟件給網絡站點的 管理員或網頁內容製作者提供了兩種方法來限制Web Robot的行蹤：
2 y* [1 [2 R2 L
5 G8 f4 q% \7 S! T3 ~( j5 y+ E

& g2 K: ^+ E* }9 L% K　　1、Robots Exclusion Protocol 協議



9 }% W  M8 B( X( I8 `& s- E　　網絡站點的管理員可以在站點上建立一個專門格式的文件，來指出站點上的哪一部分 可以被robot訪問, 這個文件放在站點的根目錄下，即 http://.../robots.txt
7 F! ]; `$ T, R7 t. D( L7 o
: }* T: u' Z- N
7 o' y; s9 L8 U4 M5 `
/ Q% K3 o( }1 m+ y& t" k　　2、Robots META tag
) @) ?5 P; |$ A5 X. Y


　　一個網頁作者可以使用專門的HTML META tag ，來指出某一個網頁是否可以被索 引、分析或鏈接。
' Z, c0 g! a, x$ p) S
# {+ ^0 W: i# I3 V. k; H. Y7 Y% x

　　這些方法適合於大多數的Web Robot，至於是否在軟件中實施了這些方法，還依賴於 Robot的開發者，並非可以保證對任何Robot都靈驗。如果你迫切需要保護自己內容， 則應考慮採用諸如增加密碼等其他保護方法。
" N: C% u- |) e- ]
9 W% }6 {7 u. |; t
3 s8 t- |' k) g  Z- c( G" z
, f4 g9 o! _& E2 K　　使用Robots Exclusion Protocol協議
  F9 U# h- U6 G6 Q1 X
! h  S/ U# @9 L  m
( G) y2 T) \3 i, g
7 ?5 Y3 L/ s" `2 B, e5 d, I　　當Robot訪問一個 Web 站點時，比如http://www.sti.net.cn/，它先去檢查文件http: //www.sti.net.cn/robots.txt。如果這個文件存在，它便會按照這樣的記錄格式去分析：

: L; c" c  M# D; V1 A& P( O

User-agent: *
/ ~. \% |4 T: H, [+ N# N, sDisallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

' ~- m3 |, i: {% I5 @
0 z8 F( R/ f  ~' X& I' `+ A- R
4 W$ x  n# }% N7 q　　以確定它是否應該檢索站點的文件。這些記錄是專門給Web Robot看的，一般的瀏覽 者大概永遠不會看到這個文件，所以千萬不要異想天開地在裡面加入形似<img src=*> 類的HTML語句或是「How do you do? where are you from?」之類假情假意的問候語。



* u8 c% Y- a; Q- L5 k0 Y* k　　在一個站點上只能有一個 "/robots.txt" 文件，而且文件名的每個字母要求全部是小寫。在Robot的記錄格式中每一個單獨的"Disallow" 行表示你不希望Robot訪問的URL， 每個URL必須單獨佔一行，不能出現 "Disallow: /cgi-bin/ /tmp/"這樣的病句。同時在一個 記錄中不能出現空行，這是因為空行是多個記錄分割的標誌。



" X/ S3 l+ g; r" Q　　User-agent行指出的是Robot或其他代理的名稱。在User-agent行，'*' 表示一個特殊的含義---所有的robot。
( H" b' R# b4 o# o) B. Q% M

! [% y* r; Y: u/ {6 i3 C! t
9 }) O6 U- A1 z6 I　　下面是幾個robot.txt的例子：
- U- f. `7 k. L: E' |! ]  s& Y4 r

" [7 ?$ n' ]0 r+ k
　　在整個服務器上拒絕所有的robots：

' w6 Q, B; [! t: e! g

+ u  E  H2 }' g2 M: ]& J1 PUser-agent: *
$ t5 d) _: e- XDisallow: /

" c" Y* r2 ]$ `4 {0 T
& r! `- J/ D* t7 M9 K: A8 \
允許所有的robots訪問整個站點：
& L  o6 \" ~: |3 S) O# V) N$ x4 HUser-agent: *
( B+ |/ b2 X7 R2 UDisallow:
0 u( a5 p/ }( x7 I9 R6 n或者產生一個空的 "/robots.txt" 文件。



服務器的部分內容允許所有的robot訪問
/ S& k" p9 O8 [6 x/ @User-agent: *
Disallow: /cgi-bin/
- d3 E1 U* t' ?$ BDisallow: /tmp/
5 T. ~; e/ c/ A  }Disallow: /private/
. Q! x! j6 p+ q8 R8 r- _& t) y


8 Z. U8 g" y0 t# n! t& Q) B拒絕某一個專門的robot：
8 ]5 @8 c; I* ^- KUser-agent: BadBot
Disallow: /


0 }5 n# @5 G+ v1 F  B- `' \1 u( Q0 ^9 L
只允許某一個robot光顧：
User-agent: WebCrawler
( M: R" B$ L5 `: _( x" WDisallow:
User-agent: *
Disallow: /



最後我們給出 http://www.w3.org/站點上的robots.txt：
! M8 n3 P# P2 C0 ^& p" j# For use by search.w3.org
User-agent: W3Crobot/1
" u8 B3 @8 f, W: b. i2 N1 i( ZDisallow:
User-agent: *
Disallow: /Member/ # This is restricted to W3C Members only
Disallow: /member/ # This is restricted to W3C Members only
Disallow: /team/ # This is restricted to W3C Team only
! o, H  M+ S" v" zDisallow: /TandS/Member # This is restricted to W3C Members only
! h0 T( z9 ?# XDisallow: /TandS/Team # This is restricted to W3C Team only
, ?- U3 g4 b. ~! ^! ^! n! oDisallow: /Project
( A, `# ^" ]3 h; W" f& @2 rDisallow: /Systems
% b3 G' F$ ]9 T9 RDisallow: /Web
8 z1 Q2 n& q- iDisallow: /Team


: Y" i, \0 @5 W  ?
　　使用Robots META tag方式



& m- e- i+ y$ i3 c　　Robots META tag 允許HTML網頁作者指出某一頁是否可以被索引，或是否可以用來查 找更多的鏈接文件。目前只有部分robot實施了這一功能。

3 t+ z1 Y$ U8 w, X

% Q; p/ ~2 ~5 `& }. ~! u1 y" T) g　　Robots META tag的格式為：



<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
4 V# l# \$ E: K4 [' U8 P像其他的META tag一樣，它應該放在HTML文件的HEAD區：
<html>
<head>
<meta name="robots" content="noindex,nofollow">
<meta name="description" content="This page ....">
# W* Z5 `. Z6 Q/ o<title>...</title>
$ I* c% E, n. Z</head>
! F# u2 D/ f% c3 H<body>
! k0 i, m. {" K" u; w) K2 u3 Y  x...



　　Robots META tag指令使用逗號隔開，可以使用的指令包括 [NO]INDEX 和[NO] FOLLOW。INDEX 指令指出一個索引性robot是否可以對本頁進行索引；FOLLOW 指 令指出robot是否可以跟蹤本頁的鏈接。缺省的情況是INDEX和FOLLOW。例如：
& p( e8 s8 ]+ |* ], `. X/ d
3 r, L9 h3 R4 K/ x& W
; J- d" x! n0 r, n
" b9 h' f  |+ x3 m) q( P0 V' ]<meta name="robots" content="index,follow">
+ P$ r3 B3 ?* B0 `; X/ z<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
; o$ `* A; ^0 G$ m5 s2 }+ i
  E6 W5 O4 i$ r2 _
  d. r/ C2 u7 S1 V* M$ c; B
9 I9 F, L. ?/ n" [# G　　一個好的Web 站點管理員應該將robot的管理考慮在內，使robot為自己的主頁服務， 同時又不損害自己網頁的安全。

恩，慢慢看，否則消化不良

看不懂啊。呵呵