robot是不是阻止不了site:mydomain.com

RT
我在robot.txt寫入Disallow: /不想被抓取的目錄/
問題來了，site:mydomain.com 仍然能列出那個「不想被抓取的目錄」裡面頁面，這怎麼解決？
6 r4 c: n; X3 c5 }7 O
4 c# P0 O* ^" L5 f# V1 S

你的目錄已經被提前抓取了，而你寫晚了
+ w4 L( i8 L+ r& [' W這種情況只有慢慢等了
% z7 G$ ?; k, W) S- x# U  T0 r

已經被索引了，後面加的robot.txt 只能阻止繼續抓取
去gg webmaster tools提交給他們，讓刪除掉
6 U. P8 a2 {' q  ?! k

若魚 發表於 2013-8-9 23:17
' p/ z$ N* k6 N+ b已經被索引了，後面加的robot.txt 只能阻止繼續抓取
去gg webmaster tools提交給他們，讓刪除掉
...

話說我是在GG site的是時候還沒搜到那裡面的內容之前加入的，由於是新站，所以site的比較多，也易於觀察，敢保證沒看走眼的
* u2 k3 U0 \, R) D  j) R+ Z

yang2018 發表於 2013-8-9 23:30
話說我是在GG site的是時候還沒搜到那裡面的內容之前加入的，由於是新站，所以site的比較多，也易於觀察， ...

你沒site出來，不代表gg蜘蛛沒爬過，有時候索引了，只是沒放出來而已。。webmaster tools裡邊看到的索引內容就和你site出來的數量不同。

百度可能不遵守robots，但這點在gg是沒有問題的，你需要去掉索引，在webmaster tools提交一下就OK了
  e* U; T; ?& ?7 n9 T$ Q$ X
; |' ^! K. q% z5 ^( x0 g1 x

動作要快，收錄了就只有等待了