过期域名预定抢注

 找回密碼
 免费注册

Googlebot 無法訪問您的網站, robots.txt 寫法有問題?

[複製鏈接]
發表於 2013-3-26 15:24:35 | 顯示全部樓層 |閱讀模式
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

, X/ T5 _4 N; D4 r# R* L, x
6 ~* i6 W1 O+ N! i在過去 24 小時內,Googlebot 在嘗試訪問您的 robots.txt 時遇到了 1 個錯誤。為確保不會抓取該文件中列出的任何網頁,我們推遲了抓取操作。您網站的 robots.txt 總體錯誤率為 100.0%。0 N/ E# z& y* b0 p" {1 M
  • 請使用網絡瀏覽器嘗試訪問 http://mydomain.com/robots.txt。如果您可以使用瀏覽器訪問該文件,說明您的網站可能被配置為阻止 Googlebot 訪問。請檢查防火牆和網站的配置,確保您沒有阻止 Googlebot 的訪問。
  • 如果您的 robots.txt 是靜態頁面,請驗證您的網絡服務擁有訪問該文件的相應權限。
  • 如果您的 robots.txt 是動態生成的,請驗證生成 robots.txt 的腳本配置無誤並擁有運行權限。請查看您網站的日誌瞭解腳本是否出錯,如果確實出錯,請嘗試診斷錯誤根源。
    9 [1 B! ^$ O9 v- |- o& V" X; I
如果網站錯誤率低於 100%:
  • 請使用網站站長工具找到錯誤率較高的一天並檢查網絡服務器當天的日誌。在那天的日誌中查找訪問 robots.txt 時出現的錯誤並修復這些錯誤的根源。
  • 很可能是因為您的網站已過載。請與您的托管服務提供商聯繫,商討重新配置您的網絡服務器或為您的網站分配更多資源。
  • 如果您的網站重定向到另一主機名,還有可能是因為您網站上某個網址的重定向目標主機名在為 robots.txt 文件提供服務時出現了上述的一個或多個問題。! k( r" J: n9 d/ u+ R# o3 G
==========================================3 d' @4 O' N2 ^7 q9 Q' l; s
; M2 O! T3 @" R$ ^
我只是不希望抓取wordpress的文件,這樣不可以嗎?+ c8 Z/ Q- w' ^2 c! f9 T
這個錯誤可不可以忽略。0 X( a. y- w6 W6 p
懂的幫幫忙啊,感激不盡啊。
7 i  u2 f" f1 f6 C/ Q
發表於 2013-3-26 15:38:04 | 顯示全部樓層
路過  這個不懂 不敢瞎說
回復 给力 爆菊

使用道具 舉報

發表於 2013-3-26 23:38:05 | 顯示全部樓層
自己先訪問看看能不能打開
回復 给力 爆菊

使用道具 舉報

發表於 2013-3-27 00:40:37 | 顯示全部樓層
這個寫法是對的啊!你看看是不是域名解析出錯了!robots寫法沒錯!9 A* R4 x3 ?8 L) x" s; A
回復 给力 爆菊

使用道具 舉報

發表於 2013-3-27 00:54:29 | 顯示全部樓層
屏蔽了2個目錄,應該沒問題啊
回復 给力 爆菊

使用道具 舉報

發表於 2013-3-27 17:46:01 | 顯示全部樓層
robots.txt很有必要
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

4um點基跨境網編創業社區

GMT+8, 2024-11-30 03:18

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表