下面是我的robots.txt
9 ]) \! ~- x# b6 QUser-agent: *
z) {9 \8 \4 \) y5 UDisallow: /wp-admin/
/ |, y9 s4 E7 z8 Z' \+ B# G& oDisallow: /wp-includes/
5 C" W/ `! \4 b0 p) ~9 S# X; xSitemap: http://xxxx/sitemap.xml
- \: \/ Q! _# V0 |8 [: g8 E& ]9 W
5 u3 @! ?# @# O$ N
" F& t) l" @/ f* O5 s3 v: `提交到google 6 {$ ^4 Z* @2 H; ]" U
) R" f+ x' s9 |; J+ a; D) n- ^# r給我警告 & Z! O! V8 f V4 V j8 k
警告
) ~* t4 w. P: y3 X | Url blocked by robots.txt.5 _9 l& U/ q" V- b2 X
| Sitemap contains urls which are blocked by robots.txt.9 U8 x/ V. J( b; Y- d1 j
|
! I; R1 o) E. Z* Q H0 L
6 {/ s% ], B' E2 f# `# m, B2 Y我百度了一下 有人說是 robots.txt禁止一個頁面,但是sitemap底部上又叫蜘蛛去捉取它,那蜘蛛就犯困了,到底是捉取還是不捉取啊,所以就警告了···
: j3 l2 a0 M- [. b8 M
/ G# t) d3 Y X- L3 O看了之後還是迷惑,我的robots禁止了嗎? 沒看出來啊?5 ?9 Z4 ?8 \: J( R/ f5 `0 R
有高手解答一下嗎? 謝謝了; J% p- K6 f5 c; E: w# }' y+ [
|