PBN的自我保護（1）

為了我們的月亮女神，我決定定期分享一些pbn的技巧和思路
' T# m3 q$ _8 O4 f" [  x
/ ]1 I0 q1 s  J, g$ U7 l今天說一下，如何讓pbn不被競爭對手察覺
: ^" }4 B: u* M4 E1 J/ N
原理：
0 e: x- }) K- m  o不被各種分析工具的蜘蛛給抓到

6 v. Q( a) |! H$ L) P. j8 F方式：
) i, I/ x6 D' h' N0 E% e有很多種，，我只說一下robot的寫法
; _$ O1 F- _; G) K  ~! }! x
4 |6 I/ f5 ]' X* {我們先認識一下幾個通用的robot

rogerbot (SEOmoz)
exabot (3ds.com)
MJ12bot (majesticseo.com)
dotbot (dotnetdotcom.org)
gigabot (gigablast.com)
AhrefsBot (ahrefs.com)

我們robot可以這麼寫：
+ y7 _. t1 L2 N" y' ]" H

User-agent: rogerbot
0 U- [" x$ i! }7 E% ~0 q+ QDisallow: /
; m  z7 k- m8 o7 W! O# m# J( t4 S
1 _3 p* [& @/ t; OUser-agent: exabot
Disallow: /

* o- f4 f1 N7 b/ D3 ^7 F% m0 ~User-agent: MJ12bot
Disallow: /
9 I& T$ I- @4 X8 m' C: E
& h$ k' K( m1 ~/ n$ IUser-agent: dotbot
) S! O' X7 w. s. {; XDisallow: /

7 U3 Q, h: `1 uUser-agent: gigabot
Disallow: /
) V$ i4 Q1 t, a' I. B8 k" n
: `5 k4 c5 |4 J; yUser-agent: AhrefsBot
+ Z9 f8 \. ~7 F5 Y/ j3 N' K( `Disallow: /

當然，如果想隱藏的非常好，這些還是不夠的，還需要屏蔽大概幾百個蜘蛛。
  B# B7 T! [- e& X; d" n

只要你不屏蔽googlebot，總會露出點蛛絲馬跡的
! d( R$ I: j- R% {6 t( \& [

支持小黑同學出PBN專輯。。可以好好學習下了。
# h( P3 T2 D% D9 l# p6 m

這個基本上是沒有用的，而且如果每個站都加上這樣的robots本身就是明顯的足跡
: C& @& o  r0 W6 i6 m$ }2 x

還不如不加。。特意屏蔽掉這幾個。。別人一看就知道。

謝謝樓主的分享，等待後續
, ?* @) m! l6 R1 {1 w) w3 r  V' K

謝謝樓主分享經驗      
7 Y! \3 y3 k/ L0 R  E. e' f

隱性判斷，不使用robots.
; T! t1 l$ D  `1 w; L7 ^! z( G1 E

禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？

" Z+ e8 B- O7 Y' a

misca 發表於 2014-4-26 21:23
禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？
% K% O. a6 c3 _/ m% c. J6 x
...

( g1 E$ D7 a3 b* i, {, p$ Z可以的。。。只支持 google、bing等幾個。
5 P  N: O3 t; a" x% M

User-Agent: Googlebot
Allow: /
2 ?* L8 }2 V+ _2 O6 n) R& Z- XUser-Agent: *
" r# p5 ?. O2 z6 D$ M' e* N6 r. nDisallow: /

3 G# p! ~5 n( O- F3 g9 H

& J8 [- L1 x2 v+ _2 D& z