各大搜索引擎都發佈了對網站地圖的新的支持方式，就是在robots.txt文件裡直接包括sitemap文件的鏈接。目前對此表示支持的搜索引擎公司有Google， Yahoo，而中文搜索引擎公司，顯然不在這個圈子內。
6 M7 K4 S" i5 S( y這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網頁。& n4 ~$ ^6 v7 u x
這裡基於一個假設，robots.txt已然是一個標準，所有的網站至少都有一個，而sitemap還正在建立標準中，這樣的做法，可以讓站長減輕工作，而且如果他們不需要更為詳細的索引和搜索的資料的話，那麼就只需要包括sitemap到robots.txt就可以了。
, R+ a' U" T( E7 j4 } N讓我們現在就開始動手，修改robots.txt文件。
4 M/ ^1 e9 S; C% r2 e3 u+ i& g#" p5 t" |# ^+ n) m2 ?) p! A
# robots.txt for xxx.com6 s5 E2 T# H7 f& g
# Version 2009.04.04( S1 o/ h: {" i
#! |' A2 e0 ~) ~7 P3 ]6 C
User-agent: *
% }( M% M8 W" \# S; @7 l- bDisallow: /function/
4 o* G3 s8 V& ]# O9 [: U2 PDisallow: /FCKeditor/
1 e' y8 r- X$ I$ [$ PDisallow: /CACHE/
8 ?( b! r: h0 I; W' _5 l) ODisallow: /SCRIPT/! g1 ]" G3 v0 {1 p }
Disallow: /ADMIN/+ e' t! k- ]/ n9 M7 x) _
Disallow: /wap.asp- X1 c3 O( U, Q; Q! V! Y
Disallow: /cmd.asp
; b2 J" h# Y; J0 _! a. g; Z NSitemap: http://www.xxx.com/sitemap.xml |
|
發表於 2009-4-20 14:19:42
提升卡
沉默卡
变色卡