过期域名预定抢注

 找回密碼
 免费注册

問一個 robots.txt 和sitemap衝突的問題

[複製鏈接]
發表於 2013-12-19 10:52:13 | 顯示全部樓層 |閱讀模式
下面是我的robots.txt
9 ]) \! ~- x# b6 QUser-agent: *
  z) {9 \8 \4 \) y5 UDisallow: /wp-admin/
/ |, y9 s4 E7 z8 Z' \+ B# G& oDisallow: /wp-includes/
5 C" W/ `! \4 b0 p) ~9 S# X; xSitemap: http://xxxx/sitemap.xml
- \: \/ Q! _# V0 |8 [: g8 E& ]9 W
5 u3 @! ?# @# O$ N
" F& t) l" @/ f* O5 s3 v: `提交到google  6 {$ ^4 Z* @2 H; ]" U

) R" f+ x' s9 |; J+ a; D) n- ^# r給我警告 & Z! O! V8 f  V4 V  j8 k
警告
) ~* t4 w. P: y3 X
Url blocked by robots.txt.5 _9 l& U/ q" V- b2 X
Sitemap contains urls which are blocked by robots.txt.9 U8 x/ V. J( b; Y- d1 j

! I; R1 o) E. Z* Q  H0 L
6 {/ s% ], B' E2 f# `# m, B2 Y我百度了一下  有人說是 robots.txt禁止一個頁面,但是sitemap底部上又叫蜘蛛去捉取它,那蜘蛛就犯困了,到底是捉取還是不捉取啊,所以就警告了···
: j3 l2 a0 M- [. b8 M
/ G# t) d3 Y  X- L3 O看了之後還是迷惑,我的robots禁止了嗎?  沒看出來啊?5 ?9 Z4 ?8 \: J( R/ f5 `0 R
有高手解答一下嗎? 謝謝了; J% p- K6 f5 c; E: w# }' y+ [
發表於 2013-12-19 11:17:30 | 顯示全部樓層
sitemap.xml並不用故意寫進robots裡.
7 `9 z. v$ I. q# n5 v: w  q- ]sitemap直接在網站管理工具裡提交就可以了的.   W6 M7 o9 X, U1 q! f
回復 给力 爆菊

使用道具 舉報

發表於 2013-12-19 13:42:46 | 顯示全部樓層
我的基本上也是這麼寫的阿,沒有提醒我衝突。根據理解也不會有衝突才是啊。
) p3 j9 ~% L4 n& \
回復 给力 爆菊

使用道具 舉報

發表於 2013-12-19 15:05:33 | 顯示全部樓層
在 Robots.txt 裡寫上 XML Sitemap 的地址沒問題的,樓主這樣做法沒錯,尤其是不想碰谷歌工具的人都可以這樣用。當然如果已經在谷歌工具提交了就不必重複。# A; i# H8 _7 P
% B* h% H& A0 }9 Y) j0 |
問題可能出自你xml sitemap的內容。自己檢查是否在sitemap裡有「/wp-admin/」 「/wp-includes/」目錄下的內容的URL,尤其是後者。這個sitemap 的 URL也必須是absolute URL,不能有錯。自己可在瀏覽器看看sitemap。
. s! d9 U2 R, W2 u! n5 ?9 s) a( B2 s; l8 A, h2 Q* P. D) ]: h+ x) x2 j
就算有警告,蜘蛛也只是停止抓取被禁止的部分,不會是全部。影響不大。& [1 G$ ~! q( j1 h/ F) r

評分

參與人數 1點點 +2 收起 理由
月光飞燕 + 2

查看全部評分

回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

4um點基跨境網編創業社區

GMT+8, 2024-11-25 09:44

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表