PBN的自我保護（1）

為了我們的月亮女神，我決定定期分享一些pbn的技巧和思路
% ?* ?* T7 p. I$ b' z
- U8 A& W$ W7 ?) K: S* _9 H& h7 `/ N今天說一下，如何讓pbn不被競爭對手察覺

原理：
& |- E2 w7 C8 q, x不被各種分析工具的蜘蛛給抓到

. Y5 G$ o; N( r. p3 ~0 p7 s  [方式：
# J) S' W  L: r1 E有很多種，，我只說一下robot的寫法

我們先認識一下幾個通用的robot
# R. V& q9 l% W6 m

rogerbot (SEOmoz)
exabot (3ds.com)
MJ12bot (majesticseo.com)
% e2 B& n9 \( G4 |6 \* L3 A' a/ W) ]dotbot (dotnetdotcom.org)
. |% w4 g) m  S2 n  W0 r6 Igigabot (gigablast.com)
AhrefsBot (ahrefs.com)

我們robot可以這麼寫：

User-agent: rogerbot
4 }0 ~9 \% M$ wDisallow: /
/ l4 S& J0 s/ |) m2 G
User-agent: exabot
Disallow: /
7 q; k/ u+ t' [$ n& c
% d5 l, ]! w) s* uUser-agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /
7 m. A4 O. S, D, Q- _9 f
! [5 ?4 k  v$ B! tUser-agent: gigabot
" Q$ v) i+ \7 n# R& s# ]Disallow: /
$ N6 m, R6 h8 A6 z, B
% D& ~) K3 W, k& m" dUser-agent: AhrefsBot
Disallow: /

當然，如果想隱藏的非常好，這些還是不夠的，還需要屏蔽大概幾百個蜘蛛。

) O5 X# w) v  A! Z" V4 A/ z, o
- Z0 O5 N, ~# r) i0 A

只要你不屏蔽googlebot，總會露出點蛛絲馬跡的

支持小黑同學出PBN專輯。。可以好好學習下了。
! \3 w0 I' W4 d

這個基本上是沒有用的，而且如果每個站都加上這樣的robots本身就是明顯的足跡

還不如不加。。特意屏蔽掉這幾個。。別人一看就知道。
4 g; ~8 Y6 ~& I" m

謝謝樓主的分享，等待後續

謝謝樓主分享經驗      

隱性判斷，不使用robots.

禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？
1 a7 i4 l  B+ u/ D( V  R# u
- d5 ~$ b" f" K, b& Z6 a( ?. g

misca 發表於 2014-4-26 21:23
禁用那麼多，還要去慢慢找，直接寫 僅支持 google等幾個常用的蜘蛛不就可以了？？
" a+ G0 J0 l6 J
...

1 y) m. H4 w* X7 [- y+ a4 a可以的。。。只支持 google、bing等幾個。
& W5 ?/ J" Q' w& ^6 D  u

User-Agent: Googlebot
Allow: /
User-Agent: *
6 o$ p7 ~- C9 \: U: _+ I/ E5 \Disallow: /

& z) d9 k: r7 U& y4 I. Z8 c2 j2 B$ M