求助 robots不知啥問題導致谷歌提示

樓主一點一點的測試，先寫一部分，測試，然後再加一部分，再測試，才可以找出問題的句子

月光飛燕 發表於 2013-4-14 10:28
樓主一點一點的測試，先寫一部分，測試，然後再加一部分，再測試，才可以找出問題的句子 ...

我去看了幾個網站 設置都很簡單 決定直接改成
User-agent: *Disallow: /wp-admin/
8 T% T$ t8 d7 o- H& eDisallow: /wp-includes/

$ v2 c+ z: Y7 V  |; |) Xsitemap:
其餘都允許
就行了  看來這個不重要

「robots.txt 內容 - 修改以測試更改」
0 @6 ~5 H, i0 O5 s+ S8 M+ p+ U這個框填寫你的robots規則

「網址 指定網址和 User-agent 以進行測試。」
8 I5 t( g9 K! g( ?這個框填寫你要測試的某個具體的特徵頁面網址

( \. T6 @, t' l3 @9 c4 g& o) q6 v下面是測試結果
就是看你填寫的那些特徵頁面有沒有被robots禁用
4 e! c4 a1 \6 b! _: c2 L" a, s
, z0 x4 r. m; N* }: G6 H5 ^& D其實真的不必糾結robots寫法  隨便找個他人的wp博客的robots填寫下，一般都是通用的。
: R: A  w( t  a! O2 M
其他一些具體情況就是看你的模板或者網站日誌的蜘蛛爬行情況來定了
8 U' R3 h' Q. E0 I" i9 p

puke 發表於 2013-4-14 10:49
8 t  P% j# N8 ]! n% P( v$ a0 O「robots.txt 內容 - 修改以測試更改」
3 ?$ h8 Q! l9 f# S" U這個框填寫你的robots規則

& O. y, R3 u* U3 \$ _恩 已經弄了個最簡單的了 謝謝了
/ c" M0 x2 l" G7 X

regent 發表於 2013-4-14 11:07
恩 已經弄了個最簡單的了 謝謝了

簡單點就好了，沒必要限制太多了啊

只限制後台和數據庫禁止抓去就可以了，沒必要那麼嚴格。容易有衝突