robot是不是阻止不了site:mydomain.com

RT
/ Y" T' q9 l2 j0 T( X我在robot.txt寫入Disallow: /不想被抓取的目錄/
問題來了，site:mydomain.com 仍然能列出那個「不想被抓取的目錄」裡面頁面，這怎麼解決？
/ n& z: p3 m/ G: Z; v$ w
3 V  J$ W, x  y8 S' H* @# P5 K$ [

你的目錄已經被提前抓取了，而你寫晚了
這種情況只有慢慢等了

已經被索引了，後面加的robot.txt 只能阻止繼續抓取
$ \/ F- ?7 R& p. d$ B去gg webmaster tools提交給他們，讓刪除掉

若魚 發表於 2013-8-9 23:17
* l  o" L7 j+ y/ R% G6 j已經被索引了，後面加的robot.txt 只能阻止繼續抓取
- _( E( A8 }: ?7 }去gg webmaster tools提交給他們，讓刪除掉
& m. K& h5 P0 \! C ...

# `8 V" b% c( g2 `+ D1 L話說我是在GG site的是時候還沒搜到那裡面的內容之前加入的，由於是新站，所以site的比較多，也易於觀察，敢保證沒看走眼的

. V9 z# L# }- J

yang2018 發表於 2013-8-9 23:30
話說我是在GG site的是時候還沒搜到那裡面的內容之前加入的，由於是新站，所以site的比較多，也易於觀察， ...

4 l9 x' l2 m) W) s你沒site出來，不代表gg蜘蛛沒爬過，有時候索引了，只是沒放出來而已。。webmaster tools裡邊看到的索引內容就和你site出來的數量不同。

百度可能不遵守robots，但這點在gg是沒有問題的，你需要去掉索引，在webmaster tools提交一下就OK了

動作要快，收錄了就只有等待了
9 b3 |$ s7 }! x& {