各大搜索引擎都發佈了對網站地圖的新的支持方式，就是在robots.txt文件裡直接包括sitemap文件的鏈接。目前對此表示支持的搜索引擎公司有Google， Yahoo，而中文搜索引擎公司，顯然不在這個圈子內。
, R4 b5 \8 O4 Z- p! B這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網頁。! v* V) I+ Q' o5 Y. c
這裡基於一個假設，robots.txt已然是一個標準，所有的網站至少都有一個，而sitemap還正在建立標準中，這樣的做法，可以讓站長減輕工作，而且如果他們不需要更為詳細的索引和搜索的資料的話，那麼就只需要包括sitemap到robots.txt就可以了。
$ G" `" V# l& X: V! U; t% ]讓我們現在就開始動手，修改robots.txt文件。
, l" e6 r* \0 H#
7 H) q+ e- ?8 y Y2 A# robots.txt for xxx.com- g: M: u5 U" F/ E' L
# Version 2009.04.041 R7 q7 {5 l/ F' |& }1 g8 a
#
2 _# r7 Y9 L0 f8 kUser-agent: *2 n/ Z( d# I& N5 l
Disallow: /function/
R$ w! d9 z% e/ o. V6 dDisallow: /FCKeditor/4 Q2 d/ @3 P) y6 B9 X
Disallow: /CACHE/, j) I V$ D7 X1 M' Q& I
Disallow: /SCRIPT/0 S( [: v7 L, x
Disallow: /ADMIN/
+ B' s# ?! u; [2 q5 a& qDisallow: /wap.asp
; C+ n" Q5 P. u( H% V7 m! O5 h2 dDisallow: /cmd.asp
0 k0 _( a- J+ u6 R; p" DSitemap: http://www.xxx.com/sitemap.xml |
|
發表於 2009-4-20 14:19:42
提升卡
沉默卡
变色卡