切換到寬版
用戶名
Email
自動登錄
找回密碼
密碼
登錄
免费注册
快捷導航
首頁
blog
forum
搜索
搜索
熱搜:
amazon
vps
老域名
網賺
手工外鏈
郵件
萬刀
過期域名
代購
教程
roboform
clickbank
市場武士
本版
帖子
用戶
4um點基跨境網編創業社區
»
forum
›
IM低/0成本創業交流
›
網絡創業綜合討論
›
問一個 robots.txt 和sitemap衝突的問題
返回列表
發新帖
問一個 robots.txt 和sitemap衝突的問題
[複製鏈接]
發表於 2013-12-19 10:52:13
|
顯示全部樓層
|
閱讀模式
下面是我的robots.txt
2 i+ A: ~" u/ R, ^: T* S; V: w
User-agent: *
6 @3 ^# ]( e+ G; }
Disallow: /wp-admin/
. v, v' V- _0 H* r5 ?, f$ ^0 h; q
Disallow: /wp-includes/
5 b& o6 k7 ]5 P: E% I( u# {% i
Sitemap: http://xxxx/sitemap.xml
9 W1 F( [7 N1 q h0 T F4 ^
6 Z* q+ q8 ]) X0 ]4 \
: ~/ H+ O! v* @1 ?7 l/ O. k* `
提交到google
% y+ P7 \( G/ K& I. Y* J
9 A1 {& L8 H6 G
給我警告
3 N! T: E2 A+ Q$ p
警告
) ^* a, c4 p3 a+ ]' ]: r+ o
Url blocked by robots.txt.
: ~0 F5 |3 }! t/ t! o/ N6 s4 p
Sitemap contains urls which are blocked by robots.txt.
, c& | U7 J7 h+ T4 B9 _. R
! Y8 S- G, ?+ O5 l. x- [( T+ P
: ]! p: @* z% P; ~' @0 f+ X
我百度了一下 有人說是 robots.txt禁止一個頁面,但是sitemap底部上又叫蜘蛛去捉取它,那蜘蛛就犯困了,到底是捉取還是不捉取啊,所以就警告了···
8 H* A. ~- ?# W7 `# K
j7 c8 w# N( t! f% E1 U
看了之後還是迷惑,我的robots禁止了嗎? 沒看出來啊?
8 J9 @; u2 a" ]3 Q: J
有高手解答一下嗎? 謝謝了
' u/ I& F) T9 i
回復
使用道具
舉報
提升卡
沉默卡
变色卡
發表於 2013-12-19 11:17:30
|
顯示全部樓層
sitemap.xml並不用故意寫進robots裡.
. M; Y. o; S: R$ W% K8 k
sitemap直接在網站管理工具裡提交就可以了的.
1 J6 J* L6 a9 D# F5 J* k, r6 E
回復
给力
爆菊
使用道具
舉報
發表於 2013-12-19 13:42:46
|
顯示全部樓層
我的基本上也是這麼寫的阿,沒有提醒我衝突。根據理解也不會有衝突才是啊。
8 [& h1 a) W) T# f5 k. R9 [
回復
给力
爆菊
使用道具
舉報
發表於 2013-12-19 15:05:33
|
顯示全部樓層
在 Robots.txt 裡寫上 XML Sitemap 的地址沒問題的,樓主這樣做法沒錯,尤其是不想碰谷歌工具的人都可以這樣用。當然如果已經在谷歌工具提交了就不必重複。
5 x9 @( m' A- S: v7 |5 ^
7 a5 k1 b( r, ^, ~" a/ t
問題可能出自你xml sitemap的內容。自己檢查是否在sitemap裡有「/wp-admin/」 「/wp-includes/」目錄下的內容的URL,尤其是後者。這個sitemap 的 URL也必須是absolute URL,不能有錯。自己可在瀏覽器看看sitemap。
) R- _+ J9 q+ Z) l! g- Y! ~- ^4 u
: M+ S& ]9 M) x
就算有警告,蜘蛛也只是停止抓取被禁止的部分,不會是全部。影響不大。
/ N8 V7 N+ b3 N" `4 M! i
評分
參與人數
1
點點
+2
收起
理由
月光飞燕
+ 2
查看全部評分
回復
给力
爆菊
使用道具
舉報
返回列表
發新帖
高級模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登錄後才可以回帖
登錄
|
免费注册
本版積分規則
發表回復
回帖後跳轉到最後一頁
4um點基跨境網編創業社區
GMT+8, 2024-11-25 11:46
By
DZ
X3.5
小黑屋
快速回復
返回頂部
返回列表