切換到寬版
用戶名
Email
自動登錄
找回密碼
密碼
登錄
免费注册
快捷導航
首頁
blog
forum
搜索
搜索
熱搜:
amazon
vps
老域名
網賺
手工外鏈
郵件
萬刀
過期域名
代購
教程
roboform
clickbank
市場武士
本版
帖子
用戶
4um點基跨境網編創業社區
»
forum
›
IM低/0成本創業交流
›
網絡創業綜合討論
›
問一個 robots.txt 和sitemap衝突的問題
返回列表
發新帖
問一個 robots.txt 和sitemap衝突的問題
[複製鏈接]
發表於 2013-12-19 10:52:13
|
顯示全部樓層
|
閱讀模式
下面是我的robots.txt
3 `$ O b8 d6 ~# b* k
User-agent: *
; V/ V0 L! ^6 q& s
Disallow: /wp-admin/
$ l9 K k4 W# K, S6 a/ H
Disallow: /wp-includes/
+ M' O3 w, y! S* c. I& c3 k& ~: g
Sitemap: http://xxxx/sitemap.xml
2 T8 I, D$ Q0 t. O* B
6 F# ]6 G8 [+ Q/ g6 D0 f
0 o# B0 E; y9 E# q/ ~# ]
提交到google
3 ^: u8 \( E! M* B
& `7 I0 V O9 l# h% z' y- P" ~
給我警告
5 @* O7 S' c+ J) S [: ^ y( ~
警告
) `/ [( A9 c" \9 ]9 H! }
Url blocked by robots.txt.
) S& |$ o0 q) M) p5 A* {
Sitemap contains urls which are blocked by robots.txt.
; y! ^/ L4 b6 _* n( ]- H3 N
4 B( z* } [' a: @' ]8 x% h: v
! T; [ z: M. t! e
我百度了一下 有人說是 robots.txt禁止一個頁面,但是sitemap底部上又叫蜘蛛去捉取它,那蜘蛛就犯困了,到底是捉取還是不捉取啊,所以就警告了···
' W& C% w5 ]7 J. _
6 |3 A7 \# {. {8 ]$ ^. d
看了之後還是迷惑,我的robots禁止了嗎? 沒看出來啊?
$ `7 h1 F2 E, f( ?9 T% o
有高手解答一下嗎? 謝謝了
9 p) M" } E, a# `. [
回復
使用道具
舉報
提升卡
沉默卡
变色卡
發表於 2013-12-19 11:17:30
|
顯示全部樓層
sitemap.xml並不用故意寫進robots裡.
+ b, q9 k; M3 r/ Y
sitemap直接在網站管理工具裡提交就可以了的.
6 L3 b5 v% e' n$ N9 o! t
回復
给力
爆菊
使用道具
舉報
發表於 2013-12-19 13:42:46
|
顯示全部樓層
我的基本上也是這麼寫的阿,沒有提醒我衝突。根據理解也不會有衝突才是啊。
+ H. [8 a9 x/ x1 V. A
回復
给力
爆菊
使用道具
舉報
發表於 2013-12-19 15:05:33
|
顯示全部樓層
在 Robots.txt 裡寫上 XML Sitemap 的地址沒問題的,樓主這樣做法沒錯,尤其是不想碰谷歌工具的人都可以這樣用。當然如果已經在谷歌工具提交了就不必重複。
1 l3 B: S6 j6 a
0 P8 z8 ^2 r s3 k, P+ j% K
問題可能出自你xml sitemap的內容。自己檢查是否在sitemap裡有「/wp-admin/」 「/wp-includes/」目錄下的內容的URL,尤其是後者。這個sitemap 的 URL也必須是absolute URL,不能有錯。自己可在瀏覽器看看sitemap。
" L" b" L& X0 `( n* f
' a" ?1 D5 A* W
就算有警告,蜘蛛也只是停止抓取被禁止的部分,不會是全部。影響不大。
! q2 q; x+ |; [+ Z" Q" o( P; @0 e
評分
參與人數
1
點點
+2
收起
理由
月光飞燕
+ 2
查看全部評分
回復
给力
爆菊
使用道具
舉報
返回列表
發新帖
高級模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登錄後才可以回帖
登錄
|
免费注册
本版積分規則
發表回復
回帖後跳轉到最後一頁
4um點基跨境網編創業社區
GMT+8, 2024-11-25 09:38
By
DZ
X3.5
小黑屋
快速回復
返回頂部
返回列表