淘寶和百度最近是打的熱火朝天的，咱們這些旁觀者也不能光看熱鬧啊，得從中學到什麼啊，
5 ?9 C R! ~( p5 c我們看到，淘寶和百度兩打架，有個傢伙在做怪，那是什麼呢？robots.txt文件，
$ N2 \8 ~- [" S- _$ h下面呢，我就給不知道什麼是robots.txt文件的朋友掃盲，高手可略過，
# g+ |2 ^! [2 \, y9 @$ s/ W+ x! l可能有太多的做搜索引擎優化和網絡營銷的新手朋友經常接觸robots這個詞，但並沒有對它做深入的研究，本文將幫你輕而易舉的理解robots文件的內涵，並且毫不費力的做出符合搜索引擎興趣和心性的robots內容，您只需要花費一點點時間，就能和robots這個傢伙輕鬆成為朋友。何樂而不為呢
6 L9 u( B$ m2 Z' F) {' C @# O: p9 @; |1 k( g0 D, c
7 }( E9 M+ }: m) h/ M
想像一下，如果你和robots成為朋友，你就和搜索引擎達成了一個協議，一個建立在平等基礎上的協議，
$ y8 }, F* A; @. r) O當你擁有robots這個朋友的時候，你就可以輕鬆的對搜索引擎說不了，你的網站上的一些隱私或其它內容當搜索引擎過來訪問時，robots這位朋友就是一位強大的保護神，把搜索引擎拒之門外。
5 a/ ^3 K3 y8 O4 ?3 G% h) ~( |# S# m1 V. K; |
我在這裡不但會告訴你一些怎樣設置robots文件的秘訣，而且還告訴你如何設置它能更加對搜索引擎友好，以有利於你的網站排名，並且教你幾招輕鬆搞定robots函數的辦法
4 F4 n: s, e# c& w' d2 k B% D) h
6 T* `" D% c* f) G' K/ x1，那麼，什麼是robots文件呢，當搜索引擎這個機器人慢悠悠的來到你的網站的時候，它首先看一下你的網站中是不是有robots.txt這個文件，所以說robots.txt文件是搜索引擎已經和我們達成的一個約定，如果我們按約定那樣做了，它們就不要收錄。+ t$ @! |, M$ [8 w1 U
2 S; z: @/ L+ _6 T- Z" S+ m9 J+ M" s2。robots.txt文件放在你的網站什麼地方呢，，記住，一定是根目錄下，比如www.123.com/robots.txt，切記不要放到別的地方，. v4 U; \" v% Z! g5 W& h; D8 x
5 Y) E. i& p/ Z1 g0 E( ~7 |
3，robots.txt文件如何設置呢，很簡單，如果你希望網站的網頁全部被抓取，三種辦法，一是不要robots.txt文件，二是建立一個空的純文本文件，命名為robots.txt，上傳到你的空間的根目錄下，如果你不希望網頁被全部抓取，那就設置一下robots函數就可以了，' k9 v' h& T2 ^9 E G$ F4 g& W
# U+ e8 R* p2 Y& E3 {! d; i7 J: K; L; ^
4 在robots.txt文件裡你基本上只用兩個函數就可以了，：User-agent和! d. H, }9 D* s( ` G) V
Disallow% j; g. e" a5 D' i
User-agent: * 允許所有搜索引擎收錄
, Z3 w# E2 k, p# J《適用於所有搜索引擎》
7 O9 I6 \% p8 F% o) i7 FDisallow:7 {) R+ y% I4 D' v, [' s
允許訪問所有文件
4 r5 E! u7 F) Z% f5 jDisallow: / 禁止訪問所有的網頁文件( _. ^& t/ I7 }5 E- Q
User-agent: baiduspider
w/ Y; T; u" G, u/ A' p4 @4 J
: W' J+ Z9 |0 D* f" {Disallow: / 僅禁止baiduspider訪問您的網站
8 m0 d, l2 J/ |! j( aUser-agent: *
( y. M% l; T* [4 v! h
& a( \0 o" P# D: n9 Z* n& nDisallow: /cgi-bin/ 禁止所有搜索引擎訪問cgi-bin/ 目錄下所有文件( H4 s) b8 j. v' `* U6 h8 b
User-agent: ** p8 L* k& }2 F3 {7 f% _' a E5 X
6 \6 o: c# Y1 \" {* D8 fDisallow: /*?* 禁止訪問網站中所有的動態頁面
6 h, a$ N# h0 |. W
' q8 k; `( f$ u) `& N$ ]+ n1 [5，接下來我將告訴你如何設置你的robots文件來達到最優化網站的方法，+ N, C. l) `# N0 J
當你檢查你的網站時，你會發現很多重複或相似的網頁，這些網頁不利於你的網站的權重，所以你就要用到robots這個朋友來禁止一些相似的網頁7 L. A+ }) S' Z( q* [" u9 u. q" P
當你發現一些網頁沒有關鍵詞時，最好用它禁止，2 i: F( D; t( J, b9 x4 M
當你發現一些死鏈接時，最好禁止9 f( C/ W! {5 C: v) d$ ?
當多個鏈接同指向一個網頁時，最好禁止動態的那些鏈接
0 D1 \; t# t n* D以上所有這些都是對搜索引擎友好的設置
r5 K9 ]/ w# G; o0 Y# g& T: W) a% R+ q M' A" i
6 那麼，設置了robots後多長時間生效呢，一般情況下二十四個小時，( [8 g' a, }. }2 X+ Z
當你讀完這篇文章後，是否感到花費了幾分鐘是進學值得的，因為通過這篇文章你對robots文件已經有了更高層次的理解吧，
L* M& F6 }1 E, y
& L, Q+ B) }# i5 s好，讓我們看一下我的robots文件設置吧robots.txt |
|
發表於 2008-9-20 14:34:21
提升卡
沉默卡
变色卡