英文站的robots.txt文件該怎麼寫?

7 g& d! \* ^/ x7 z$ d0 G& I2 l
9 x6 x. L; n' j: T- G/ K% D9 P1 yRT,在網上找到個robots.txt收改了一下,但是GG還是收錄一些TAG頁,問下大家針對GOOGLE的robots.txt都怎麼寫,謝謝了

為什麼不能發貼，還能做任務

其實收點tag頁無傷大雅

修改後效果沒那麼快的

TAG頁面有很多重複的,這樣收錄會影響網站權重的

XML裡不要加入TAG就好了，自然收錄的東西一般不會影響排名和權重的。