robots文件，你最可靠的朋友

淘寶和百度最近是打的熱火朝天的，咱們這些旁觀者也不能光看熱鬧啊，得從中學到什麼啊，
我們看到，淘寶和百度兩打架，有個傢伙在做怪，那是什麼呢？robots.txt文件，
( L7 Y* q7 j$ z  f% A: d下面呢，我就給不知道什麼是robots.txt文件的朋友掃盲，高手可略過，
% H9 F& G( N& M0 V2 a" m可能有太多的做搜索引擎優化和網絡營銷的新手朋友經常接觸robots這個詞，但並沒有對它做深入的研究，本文將幫你輕而易舉的理解robots文件的內涵，並且毫不費力的做出符合搜索引擎興趣和心性的robots內容，您只需要花費一點點時間，就能和robots這個傢伙輕鬆成為朋友。何樂而不為呢


想像一下，如果你和robots成為朋友，你就和搜索引擎達成了一個協議，一個建立在平等基礎上的協議，
: X; ?( ~: _$ ~當你擁有robots這個朋友的時候，你就可以輕鬆的對搜索引擎說不了，你的網站上的一些隱私或其它內容當搜索引擎過來訪問時，robots這位朋友就是一位強大的保護神，把搜索引擎拒之門外。
: ]9 B  d7 ^* P: h2 Z# I2 G
6 M8 ]4 l, [8 c& S- ^3 w: |我在這裡不但會告訴你一些怎樣設置robots文件的秘訣，而且還告訴你如何設置它能更加對搜索引擎友好，以有利於你的網站排名，並且教你幾招輕鬆搞定robots函數的辦法
6 E/ N- K+ q1 `; Y2 X7 R
! c4 Y3 P( K0 \, G  l* _1，那麼，什麼是robots文件呢，當搜索引擎這個機器人慢悠悠的來到你的網站的時候，它首先看一下你的網站中是不是有robots.txt這個文件，所以說robots.txt文件是搜索引擎已經和我們達成的一個約定，如果我們按約定那樣做了，它們就不要收錄。

2。robots.txt文件放在你的網站什麼地方呢，，記住，一定是根目錄下，比如www.123.com/robots.txt，切記不要放到別的地方，
; k5 b$ E1 B; Y
3，robots.txt文件如何設置呢，很簡單，如果你希望網站的網頁全部被抓取，三種辦法，一是不要robots.txt文件，二是建立一個空的純文本文件，命名為robots.txt，上傳到你的空間的根目錄下，如果你不希望網頁被全部抓取，那就設置一下robots函數就可以了，
7 X2 b% s7 K/ n+ y" i( A3 v0 [
$ d5 o  o0 l0 `4 P( p& O4 R5 ?4 在robots.txt文件裡你基本上只用兩個函數就可以了，：User-agent和
; }2 S0 \2 d* m# O9 |: HDisallow
* ^2 [$ G8 E( k9 S9 @& @User-agent: * 允許所有搜索引擎收錄
《適用於所有搜索引擎》
1 o: s6 u  |/ Q6 @Disallow:
允許訪問所有文件
Disallow: / 禁止訪問所有的網頁文件
User-agent: baiduspider
3 c/ d9 n9 d- j- k( X3 K. B% `: d
Disallow: / 僅禁止baiduspider訪問您的網站
" e4 d1 }' f5 I8 h4 XUser-agent: *
! u4 I( ]. j" b
Disallow: /cgi-bin/ 禁止所有搜索引擎訪問cgi-bin/ 目錄下所有文件
( I7 @* c1 x" [: ?7 S5 T( u& NUser-agent: *
: E4 t! M. D4 G$ F, F" t9 z
Disallow: /*?* 禁止訪問網站中所有的動態頁面
" @0 n) _) g2 s: _! r4 p9 z$ E
5，接下來我將告訴你如何設置你的robots文件來達到最優化網站的方法，
當你檢查你的網站時，你會發現很多重複或相似的網頁，這些網頁不利於你的網站的權重，所以你就要用到robots這個朋友來禁止一些相似的網頁
3 m1 A8 A. l& O6 |當你發現一些網頁沒有關鍵詞時，最好用它禁止，
當你發現一些死鏈接時，最好禁止
6 d# @9 V, s" f! d. Y, B6 h當多個鏈接同指向一個網頁時，最好禁止動態的那些鏈接
7 r) m2 V+ a# O6 m以上所有這些都是對搜索引擎友好的設置
% \4 C+ H$ z- {) R' m4 Q% t
7 L9 I# G' F, m1 G2 t6 L% V: g6 那麼，設置了robots後多長時間生效呢，一般情況下二十四個小時，
, j- t7 P, s6 M當你讀完這篇文章後，是否感到花費了幾分鐘是進學值得的，因為通過這篇文章你對robots文件已經有了更高層次的理解吧，
( x4 w2 H+ j7 u9 p9 W- e  ^
* e# Y/ _* S- i8 l$ M9 }好，讓我們看一下我的robots文件設置吧robots.txt

沒看出淘寶和百度兩打架，為什麼是robots.txt文件在做怪。
軟文水平不低，值得學習