过期域名预定抢注

 找回密碼
 免费注册

問一個 robots.txt 和sitemap衝突的問題

[複製鏈接]
發表於 2013-12-19 10:52:13 | 顯示全部樓層 |閱讀模式
下面是我的robots.txt3 `$ O  b8 d6 ~# b* k
User-agent: *
; V/ V0 L! ^6 q& sDisallow: /wp-admin/$ l9 K  k4 W# K, S6 a/ H
Disallow: /wp-includes/
+ M' O3 w, y! S* c. I& c3 k& ~: gSitemap: http://xxxx/sitemap.xml
2 T8 I, D$ Q0 t. O* B
6 F# ]6 G8 [+ Q/ g6 D0 f0 o# B0 E; y9 E# q/ ~# ]
提交到google  3 ^: u8 \( E! M* B

& `7 I0 V  O9 l# h% z' y- P" ~給我警告
5 @* O7 S' c+ J) S  [: ^  y( ~
警告) `/ [( A9 c" \9 ]9 H! }
Url blocked by robots.txt.
) S& |$ o0 q) M) p5 A* {
Sitemap contains urls which are blocked by robots.txt.
; y! ^/ L4 b6 _* n( ]- H3 N

4 B( z* }  [' a: @' ]8 x% h: v
! T; [  z: M. t! e我百度了一下  有人說是 robots.txt禁止一個頁面,但是sitemap底部上又叫蜘蛛去捉取它,那蜘蛛就犯困了,到底是捉取還是不捉取啊,所以就警告了···' W& C% w5 ]7 J. _
6 |3 A7 \# {. {8 ]$ ^. d
看了之後還是迷惑,我的robots禁止了嗎?  沒看出來啊?
$ `7 h1 F2 E, f( ?9 T% o有高手解答一下嗎? 謝謝了9 p) M" }  E, a# `. [
發表於 2013-12-19 11:17:30 | 顯示全部樓層
sitemap.xml並不用故意寫進robots裡.
+ b, q9 k; M3 r/ Ysitemap直接在網站管理工具裡提交就可以了的. 6 L3 b5 v% e' n$ N9 o! t
回復 给力 爆菊

使用道具 舉報

發表於 2013-12-19 13:42:46 | 顯示全部樓層
我的基本上也是這麼寫的阿,沒有提醒我衝突。根據理解也不會有衝突才是啊。
+ H. [8 a9 x/ x1 V. A
回復 给力 爆菊

使用道具 舉報

發表於 2013-12-19 15:05:33 | 顯示全部樓層
在 Robots.txt 裡寫上 XML Sitemap 的地址沒問題的,樓主這樣做法沒錯,尤其是不想碰谷歌工具的人都可以這樣用。當然如果已經在谷歌工具提交了就不必重複。1 l3 B: S6 j6 a

0 P8 z8 ^2 r  s3 k, P+ j% K問題可能出自你xml sitemap的內容。自己檢查是否在sitemap裡有「/wp-admin/」 「/wp-includes/」目錄下的內容的URL,尤其是後者。這個sitemap 的 URL也必須是absolute URL,不能有錯。自己可在瀏覽器看看sitemap。
" L" b" L& X0 `( n* f
' a" ?1 D5 A* W就算有警告,蜘蛛也只是停止抓取被禁止的部分,不會是全部。影響不大。
! q2 q; x+ |; [+ Z" Q" o( P; @0 e

評分

參與人數 1點點 +2 收起 理由
月光飞燕 + 2

查看全部評分

回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

4um點基跨境網編創業社區

GMT+8, 2024-11-25 09:38

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表