淘寶和百度最近是打的熱火朝天的，咱們這些旁觀者也不能光看熱鬧啊，得從中學到什麼啊，
. q+ ?! F6 |& S% x# d o7 Y我們看到，淘寶和百度兩打架，有個傢伙在做怪，那是什麼呢？robots.txt文件，- P0 D$ `0 r. z9 y5 h' A
下面呢，我就給不知道什麼是robots.txt文件的朋友掃盲，高手可略過，
4 R" q( H: F7 S可能有太多的做搜索引擎優化和網絡營銷的新手朋友經常接觸robots這個詞，但並沒有對它做深入的研究，本文將幫你輕而易舉的理解robots文件的內涵，並且毫不費力的做出符合搜索引擎興趣和心性的robots內容，您只需要花費一點點時間，就能和robots這個傢伙輕鬆成為朋友。何樂而不為呢& j! B6 u& ]# x
$ V9 L' U9 x- ]7 m3 h2 g' _' d) L+ v B6 q4 n8 o- R$ ^ w4 v
想像一下，如果你和robots成為朋友，你就和搜索引擎達成了一個協議，一個建立在平等基礎上的協議，. I: q8 o% F+ \* F! {
當你擁有robots這個朋友的時候，你就可以輕鬆的對搜索引擎說不了，你的網站上的一些隱私或其它內容當搜索引擎過來訪問時，robots這位朋友就是一位強大的保護神，把搜索引擎拒之門外。; w8 A% _7 q" Z+ d* p* n
$ V2 [7 p- F; U0 s1 }6 B
我在這裡不但會告訴你一些怎樣設置robots文件的秘訣，而且還告訴你如何設置它能更加對搜索引擎友好，以有利於你的網站排名，並且教你幾招輕鬆搞定robots函數的辦法
5 ^, v) F- {9 p n: N* J; b( |7 e4 x" X; t$ B; v/ u0 Y. M
1，那麼，什麼是robots文件呢，當搜索引擎這個機器人慢悠悠的來到你的網站的時候，它首先看一下你的網站中是不是有robots.txt這個文件，所以說robots.txt文件是搜索引擎已經和我們達成的一個約定，如果我們按約定那樣做了，它們就不要收錄。
! c/ U, k! x) L1 k2 X4 _2 l' s" F; Y! D8 D1 c; ]8 ]) k
2。robots.txt文件放在你的網站什麼地方呢，，記住，一定是根目錄下，比如www.123.com/robots.txt，切記不要放到別的地方，
: R! Z$ {& J5 Q" T6 V6 D: O' F x |/ h2 j0 f' Q8 P7 } l
3，robots.txt文件如何設置呢，很簡單，如果你希望網站的網頁全部被抓取，三種辦法，一是不要robots.txt文件，二是建立一個空的純文本文件，命名為robots.txt，上傳到你的空間的根目錄下，如果你不希望網頁被全部抓取，那就設置一下robots函數就可以了，( N, X5 j. d1 b5 l9 a
" z/ ~$ Q- [' A; h# |
4 在robots.txt文件裡你基本上只用兩個函數就可以了，：User-agent和$ s" n: d% R4 a! R7 d
Disallow: Q) Z0 v! R4 F) }4 a2 y5 C
User-agent: * 允許所有搜索引擎收錄$ u8 H8 d: [( V; Z
《適用於所有搜索引擎》
7 g& M' Z0 E* B/ FDisallow:5 ?" o' d) {+ R9 y# c; d
允許訪問所有文件
: D, f2 ]) T1 `5 f# gDisallow: / 禁止訪問所有的網頁文件
$ R: H; t0 @+ v3 v: o+ gUser-agent: baiduspider
; c8 O$ D* H3 C. h' V
" U* f- C l. `Disallow: / 僅禁止baiduspider訪問您的網站# {1 L# _8 F; | f% B
User-agent: *" {" q: H1 c1 H U! @1 d, f% d, U
# k+ y. T) A. Q3 d" T6 ^ R6 E
Disallow: /cgi-bin/ 禁止所有搜索引擎訪問cgi-bin/ 目錄下所有文件
1 Z# ^, v7 q; E2 \9 j! F& I4 UUser-agent: *: X, I$ N: L3 `$ b
3 Q/ t! g+ n3 v( N% H/ X
Disallow: /*?* 禁止訪問網站中所有的動態頁面, [9 m+ I3 C: \+ _6 D$ q6 Y; U
' x6 `1 U6 R; e2 T; P2 i$ D5，接下來我將告訴你如何設置你的robots文件來達到最優化網站的方法， C+ H- R! B0 p1 k3 v u
當你檢查你的網站時，你會發現很多重複或相似的網頁，這些網頁不利於你的網站的權重，所以你就要用到robots這個朋友來禁止一些相似的網頁
* T" X* n$ [6 L當你發現一些網頁沒有關鍵詞時，最好用它禁止，
4 Z. A( `* T# g/ L1 Z" l當你發現一些死鏈接時，最好禁止 J, [! Y9 M% G9 P z% i% P
當多個鏈接同指向一個網頁時，最好禁止動態的那些鏈接
2 o+ K, S- {' Y7 S2 }* _" t6 i以上所有這些都是對搜索引擎友好的設置
& _1 g3 o3 K( ~8 c' I1 C' A. C* `, o
6 那麼，設置了robots後多長時間生效呢，一般情況下二十四個小時，7 l1 o, A# o! x- ]
當你讀完這篇文章後，是否感到花費了幾分鐘是進學值得的，因為通過這篇文章你對robots文件已經有了更高層次的理解吧，
% E2 m) [3 X3 `& c& v3 U& n
, P; _- K* K% R& s" {# E好，讓我們看一下我的robots文件設置吧robots.txt |
|
發表於 2008-9-20 14:34:21
提升卡
沉默卡
变色卡