PBN的自我保護（1）

為了我們的月亮女神，我決定定期分享一些pbn的技巧和思路

今天說一下，如何讓pbn不被競爭對手察覺
! X6 W+ r9 z9 k4 Z7 T! r% r
原理：
7 m. a! L, x5 b9 q; W: L7 g8 D; r7 q不被各種分析工具的蜘蛛給抓到

方式：
有很多種，，我只說一下robot的寫法
# Z1 E3 Q, l9 K% t' U
我們先認識一下幾個通用的robot
, s) T: ?( I/ ?, h* b& T
8 W4 L$ S- ^5 s- l0 ?. {

rogerbot (SEOmoz)
exabot (3ds.com)
MJ12bot (majesticseo.com)
8 i  I. P) \! V' N; L4 @dotbot (dotnetdotcom.org)
gigabot (gigablast.com)
AhrefsBot (ahrefs.com)

我們robot可以這麼寫：
7 W, s' N3 n) T/ f8 |& @6 y2 O

User-agent: rogerbot
Disallow: /

User-agent: exabot
Disallow: /
; p* O% x+ q( o- B
User-agent: MJ12bot
Disallow: /
1 s% c6 @+ u+ a/ d
3 E9 s! p. r# _  s) q5 ZUser-agent: dotbot
) X+ y1 [7 x1 w9 `  eDisallow: /

9 ]7 X- g+ u3 ~4 K! \! UUser-agent: gigabot
2 g1 i4 m5 J3 ~% m+ bDisallow: /

* S; T0 u+ h8 {: c+ B6 JUser-agent: AhrefsBot
Disallow: /

當然，如果想隱藏的非常好，這些還是不夠的，還需要屏蔽大概幾百個蜘蛛。
- y) \' T, p9 l0 G

( g( Y& G1 M2 I; F/ v+ k

只要你不屏蔽googlebot，總會露出點蛛絲馬跡的
. j6 m2 \2 I& ^( J- w7 C. {

支持小黑同學出PBN專輯。。可以好好學習下了。
0 b$ i' U' {% R- u

這個基本上是沒有用的，而且如果每個站都加上這樣的robots本身就是明顯的足跡
! R# R: g& g# E" d8 B6 Q

還不如不加。。特意屏蔽掉這幾個。。別人一看就知道。
. K- q( o" K; n: C6 k& L

謝謝樓主的分享，等待後續
6 j" u+ m0 g& M5 c8 x- V( [& y

謝謝樓主分享經驗      
0 C+ V. v5 ~- j  X- S9 {

隱性判斷，不使用robots.

禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？
2 |* x. {  _  {

misca 發表於 2014-4-26 21:23
# }4 s1 R/ z4 Z- f% T1 l4 u# N: i禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？

...

, x" i) V! F% N* _, O可以的。。。只支持 google、bing等幾個。
+ r2 b) l, w. Q) m

User-Agent: Googlebot
) C$ {) U9 Z" b8 D, l% KAllow: /
* z8 n0 U' w) Z6 h1 x! h1 TUser-Agent: *
2 G: y# Y! C9 z2 j  @' v1 jDisallow: /