本帖最後由 lomboz 於 2013-8-8 23:24 編輯 0 S3 d6 c. r. D( G+ ~% T4 \
月光飛燕 發表於 2013-8-8 22:59  ; f9 d' ^* ]& V$ |5 \1 d7 u! L
不是很清楚alexa和semrush還有其他的工具站是否遵守robot協議，不過可以寫信去問問- W. _ b# J8 e% K6 e
應該有答覆，樓主知道後 ...
+ z( W, d7 Y4 A2 \7 v1 I2 Q; Z稍稍的搜索了下！) ] K: {) q6 i4 w# l, y4 v
! z) V) B) b1 K# [
- Y9 t; W- V5 [0 M/ qalexa 的 http://www.alexa.com/help/webmasters1 V" L9 j, i2 D
插入：
3 C' [: e3 p: ~3 a9 \User-agent: ia_archiver- W* S1 o+ ~; T5 u
Disallow: /
7 \! D9 K& B4 _: ^- L5 Y8 o! W; d8 q8 q" q9 N
! _6 Y$ e1 g: s4 N
semrush 的 http://www.semrush.com/bot.html; ]" T d6 o7 F) k& f `) }. ^2 p% A- A
插入：
: D- [ O) ~1 G, j. A, m# d3 NUser-agent: SemrushBot# Q8 O$ ~' ]3 Y2 I2 i! v) P1 c3 q* C
Disallow: /
# c. y* z& ^% z$ G
- L- F! t8 N- K3 n0 n, [0 L1 G( V( @" f0 x
* a- k1 v- f( |4 m" e C2 F, O, V4 F. V; Z+ F- h# Q( ~
1 I# q$ I& w# o9 \; `
% F( X c$ L, S5 u |
發表於 2013-8-8 22:52:50
提升卡
沉默卡
变色卡