本帖最後由 lomboz 於 2013-8-8 23:24 編輯 ( J0 B" @' y# k, C. n" O
月光飛燕 發表於 2013-8-8 22:59
% h5 i2 t/ j+ L不是很清楚alexa和semrush還有其他的工具站是否遵守robot協議,不過可以寫信去問問. G U3 p" Q5 A) S+ h' ?) N# B) [
應該有答覆,樓主知道後 ... $ @' L7 a# d$ r2 n8 ^- P5 s. k5 S
稍稍的搜索了下!; C9 i9 Y# U3 t
2 B1 j" @! n; V M9 K
7 e Y- p3 g+ v
alexa 的 http://www.alexa.com/help/webmasters
/ n1 J- f$ b: P插入:
- n% v7 {" Q3 J4 l6 q. zUser-agent: ia_archiver
; {) t1 r$ D2 a+ z" sDisallow: /- v( J" U0 x) c m) @1 R
G; w. }$ ]7 H
( e7 w/ d; c8 e j
semrush 的 http://www.semrush.com/bot.html
W3 y* a" i! L( c7 C插入:
8 I3 X* @, _/ b( I% B, J9 gUser-agent: SemrushBot
/ G& z& `2 k" Y5 _7 lDisallow: /
7 \* M8 D% E7 g; w6 o3 W7 ?9 d
$ p. ]$ h b6 n; y; p, [. U3 @" }# A/ y3 I
`+ u7 g- m7 ?4 d# W6 _8 ]+ g
2 P: U* f I) O- }" \* s% s1 ~2 {: U* J* V4 F0 D8 v
( J/ ^2 F3 K& F, J. F1 p
|