現在很多人使用的Blog程序都是WordPress,那麼在做WordPress優化時,有一項比較重要的是robots.txt文件,那麼該如何寫WordPressBlog的robots.txt文件呢?請繼續往下看:
! F' S- a" h$ v$ }8 A) K& U/ _/ N) W& M9 L7 k" q
一、最嚴格的寫法,我們採取以下方法:; B1 `1 T1 E* L% q" C
User-agent: *
& x0 r4 _& A. f* ~, n5 T% g Disallow: /wp-*
+ K. R a! b: B+ ]: w1 X #Allow: /wp-content/uploads/
8 W8 p3 _, B9 ^" O& [# ^ Disallow: /*.php$
L! S8 t) s( i Disallow: /*.inc$
& i' e2 |7 i" C4 d4 @ Disallow: /*.js$
+ @: e/ @% `7 D* K( Z0 | Disallow: /*.css$. q: B7 y; }: I2 L
Disallow: /?s=6 v! A d* I5 v# D
允許所有蜘蛛訪問,限制訪問以「wp-」開頭的目錄及文件,限制抓取.php文、.inc、.js、.css文件,限制抓取搜索結果。這是許多朋友公認的寫法,下面介紹一下一個另類的寫法:
}6 p! ~& g! Q; K+ g3 b# O7 e+ [9 f. j2 E6 b
User-agent: *
1 g3 i2 m& e. ~ Disallow: /wp-admin7 a) ?1 Y2 ~& M( _! y( Y$ ]0 I; F w
Disallow: /wp-content/plugins$ v+ D) v* X; N
Disallow: /wp-content/themes
) V. h/ L& n0 O d+ o8 {* e Disallow: /wp-includes
+ `8 W9 W6 S# A Disallow: /?s=. ~4 Q0 T+ S5 U' V; x; q* v9 q) z! d
Sitemap: http://www.xxx.com/sitemap.xml,這只是個例子,這裡的地址要換成你的sitemap.xml地址,大家看得出這兩種寫法有什麼不同之處嗎?
1 i G% ]9 L$ a1 a2 `1 K( |+ H' p# Y5 a/ z0 B/ A& p8 T5 }0 d" `
8 k9 U R0 N4 n/ W Q附sitemap.xml:' Q$ i; J$ G8 K1 G" W
<?xml version="1.0" encoding="UTF-8" ?>
+ g0 W+ u) e2 o6 u/ f( ^5 _4 t- a- <sitemapindex xmlns="http://www.google.com/schemas/sitemap/0.84">$ Z$ Z5 O) J" d6 q. h
- <sitemap> i& j' Z& J8 H! M- N* Q: p. C M# r" X
<loc>http://www.xxx.com/lanmu.xml</loc>
6 f6 I2 Q& e9 D J( { <lastmod>2009-09-15</lastmod> . H* u' L, D3 T) I- r5 f* e
</sitemap>8 r/ U0 X U/ g0 [, Q
- <sitemap>
/ j+ S7 c4 ^, k! s <loc>http://www.xxx.com/wenzhang.xml</loc> . @$ n7 W/ e1 ^' C) L9 d: h
<lastmod>2009-09-10</lastmod>
' | o; p3 B. O N </sitemap>
7 G" I) @4 ?8 ^$ Q; V </sitemapindex> |
評分
-
查看全部評分
|