robot是不是阻止不了site:mydomain.com

RT
' X0 ^! X( q1 ^8 Q! g# |# C& f我在robot.txt寫入Disallow: /不想被抓取的目錄/
問題來了，site:mydomain.com 仍然能列出那個「不想被抓取的目錄」裡面頁面，這怎麼解決？
) `# Q+ V7 y0 F

! `, U: d6 D, V, C" J

你的目錄已經被提前抓取了，而你寫晚了
這種情況只有慢慢等了
$ j6 W- L6 C, S& N; Z

已經被索引了，後面加的robot.txt 只能阻止繼續抓取
  y6 j. Y. [: P- Z4 I. R/ c. `去gg webmaster tools提交給他們，讓刪除掉

若魚 發表於 2013-8-9 23:17
4 q- Z- @/ |- j5 J- B6 I已經被索引了，後面加的robot.txt 只能阻止繼續抓取
去gg webmaster tools提交給他們，讓刪除掉
0 V2 j) \' M5 y ...

5 f! z9 v& W7 Z話說我是在GG site的是時候還沒搜到那裡面的內容之前加入的，由於是新站，所以site的比較多，也易於觀察，敢保證沒看走眼的

7 B' x5 y2 i5 p7 j* A: U
& _4 S( T2 c. ^! Z

yang2018 發表於 2013-8-9 23:30
4 x( Q) r9 o2 G+ y9 h話說我是在GG site的是時候還沒搜到那裡面的內容之前加入的，由於是新站，所以site的比較多，也易於觀察， ...

你沒site出來，不代表gg蜘蛛沒爬過，有時候索引了，只是沒放出來而已。。webmaster tools裡邊看到的索引內容就和你site出來的數量不同。

0 l* h: T" p; L) v1 u' P+ ^) E) X百度可能不遵守robots，但這點在gg是沒有問題的，你需要去掉索引，在webmaster tools提交一下就OK了

+ p4 x4 L& D: n' P( {

動作要快，收錄了就只有等待了
  A9 s7 m. {2 p4 }( M