过期域名预定抢注

 找回密碼
 免费注册

問一個 robots.txt 和sitemap衝突的問題

[複製鏈接]
發表於 2013-12-19 10:52:13 | 顯示全部樓層 |閱讀模式
下面是我的robots.txt
2 i+ A: ~" u/ R, ^: T* S; V: wUser-agent: *6 @3 ^# ]( e+ G; }
Disallow: /wp-admin/. v, v' V- _0 H* r5 ?, f$ ^0 h; q
Disallow: /wp-includes/5 b& o6 k7 ]5 P: E% I( u# {% i
Sitemap: http://xxxx/sitemap.xml9 W1 F( [7 N1 q  h0 T  F4 ^

6 Z* q+ q8 ]) X0 ]4 \
: ~/ H+ O! v* @1 ?7 l/ O. k* `提交到google  % y+ P7 \( G/ K& I. Y* J

9 A1 {& L8 H6 G給我警告
3 N! T: E2 A+ Q$ p
警告
) ^* a, c4 p3 a+ ]' ]: r+ o
Url blocked by robots.txt.
: ~0 F5 |3 }! t/ t! o/ N6 s4 p
Sitemap contains urls which are blocked by robots.txt., c& |  U7 J7 h+ T4 B9 _. R
! Y8 S- G, ?+ O5 l. x- [( T+ P
: ]! p: @* z% P; ~' @0 f+ X
我百度了一下  有人說是 robots.txt禁止一個頁面,但是sitemap底部上又叫蜘蛛去捉取它,那蜘蛛就犯困了,到底是捉取還是不捉取啊,所以就警告了···
8 H* A. ~- ?# W7 `# K  j7 c8 w# N( t! f% E1 U
看了之後還是迷惑,我的robots禁止了嗎?  沒看出來啊?8 J9 @; u2 a" ]3 Q: J
有高手解答一下嗎? 謝謝了' u/ I& F) T9 i
發表於 2013-12-19 11:17:30 | 顯示全部樓層
sitemap.xml並不用故意寫進robots裡.
. M; Y. o; S: R$ W% K8 ksitemap直接在網站管理工具裡提交就可以了的. 1 J6 J* L6 a9 D# F5 J* k, r6 E
回復 给力 爆菊

使用道具 舉報

發表於 2013-12-19 13:42:46 | 顯示全部樓層
我的基本上也是這麼寫的阿,沒有提醒我衝突。根據理解也不會有衝突才是啊。8 [& h1 a) W) T# f5 k. R9 [
回復 给力 爆菊

使用道具 舉報

發表於 2013-12-19 15:05:33 | 顯示全部樓層
在 Robots.txt 裡寫上 XML Sitemap 的地址沒問題的,樓主這樣做法沒錯,尤其是不想碰谷歌工具的人都可以這樣用。當然如果已經在谷歌工具提交了就不必重複。
5 x9 @( m' A- S: v7 |5 ^7 a5 k1 b( r, ^, ~" a/ t
問題可能出自你xml sitemap的內容。自己檢查是否在sitemap裡有「/wp-admin/」 「/wp-includes/」目錄下的內容的URL,尤其是後者。這個sitemap 的 URL也必須是absolute URL,不能有錯。自己可在瀏覽器看看sitemap。) R- _+ J9 q+ Z) l! g- Y! ~- ^4 u
: M+ S& ]9 M) x
就算有警告,蜘蛛也只是停止抓取被禁止的部分,不會是全部。影響不大。/ N8 V7 N+ b3 N" `4 M! i

評分

參與人數 1點點 +2 收起 理由
月光飞燕 + 2

查看全部評分

回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

4um點基跨境網編創業社區

GMT+8, 2024-11-25 11:46

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表