过期域名预定抢注

 找回密碼
 免费注册

懸賞wordpress英文站robots.txt 規則的完整寫法

  [複製鏈接]
發表於 2014-12-29 15:35:48 | 顯示全部樓層 |閱讀模式
懸賞16點點已解決
本帖最後由 hardrock 於 2014-12-29 15:45 編輯
) l( C5 q" B# @1 }
  h6 p* c; R* d. S, ]  a5 X懸賞wordpress英文站robots.txt 規則的完整寫法
3 r% u+ ]) a8 R. h0 D) e% h0 q- \0 _按以下要求寫
" p8 X' X" y# v7 t1,只能Alexa, aol, Ask, Google、Yahoo、Bing的爬蟲訪問,其他的禁止
" t7 O& x* K- T# F2,禁止訪問特定目錄,文件類型的通用寫法,適用於wordpress英文版3.6~4.1版本
" B" B- @. Q5 i" n; ~3,  Sitemaps文件
+ }: @- u' K. e) E- m$ z- _/ s" x  d
# R$ Z2 e; v4 @, H# R

. s) x& V' O/ p( U3 s) a
" u' y4 R4 ?( b
. z  h& \( p3 e  e6 |% E$ n: y2 k( `/ o! \. ^
" o  P& W3 a  s

最佳答案

查看完整內容

User-agent: Alexa* Allow: / User-agent: Aol* Allow: / User-agent: Ask* Allow: / User-agent: Yahoo* Allow: / User-agent: Bing* Allow: / User-agent: Google* Allow: / User-agent: * Disallow: / Disallow: /*.php$ Disallow: /search/ Disallow: /tag/*?* Disallow: /*.html?* Disallow: /page/*?* Disallow: /wp-admin Disallow: /wp-*.php Disallow: /comments/ Disallow: /trackback Disallow: /*.html/*?* Disallow: ...
回復

使用道具 舉報

發表於 2014-12-29 15:35:49 | 顯示全部樓層
本帖最後由 yzhvps 於 2014-12-29 22:09 編輯
4 _* w' Q- i; ~/ ~+ {1 x9 c5 d: i- K1 T! c
User-agent: Alexa*; {& c  G, a  s8 q% e$ r; Z
Allow: /
1 C8 z4 ^" q* t' F  oUser-agent: Aol*8 k. w' E; y0 `  h
Allow: /5 J* o0 |1 r% J% }. |
User-agent: Ask*
! x9 `3 w2 I) R7 SAllow: /  H7 w& P% l2 N- c
User-agent: Yahoo*! N- R& z! S2 {5 L& n
Allow: /
9 y4 r! D1 n2 h& V2 fUser-agent: Bing*9 e) @2 ~/ W/ i% h6 i1 u8 z0 D
Allow: /+ u* A7 H) [0 r2 ?
User-agent: Google*
* s4 ^( J) B6 l1 JAllow: /6 P8 X7 N7 B& o. z: r! v9 ?
5 [6 N$ ]" y* O0 |8 v9 f
User-agent: *3 R4 D3 p2 i) y6 f! o
Disallow: /
- t/ S5 W8 a" I3 uDisallow: /*.php$
; U) c; i7 {2 v8 d4 V  JDisallow: /search/
* i$ D6 }& c/ ^# x& EDisallow: /tag/*?*6 P6 _( ?- }' D" q+ u7 k8 b# p8 k5 V3 r" f
Disallow: /*.html?*
$ Z" ?9 g( H4 `4 _3 m6 GDisallow: /page/*?*
  k2 l0 q$ D( n- c5 `6 T/ ]Disallow: /wp-admin- _9 ]1 l% }, a, t/ a
Disallow: /wp-*.php) u, e5 F2 l, o
Disallow: /comments/% B5 h) Q7 L3 Q8 O' M( y- A
Disallow: /trackback
  g8 N' j7 {7 r+ L& s2 i# ^6 p* bDisallow: /*.html/*?*$ J+ \5 p5 n" C% M5 S1 m
Disallow: /*/trackback
' ?8 S/ e& L5 `( T5 w0 gDisallow: /comments/feed- V4 |( [+ c, W/ U( i5 D
Disallow: /*?replytocom=*
" _* N, ^; _/ g5 iDisallow: /*/comment-page-*
7 I/ n: I' L$ {- H! p) ~6 x
9 t' }3 h: m0 }# e+ N3 MSitemap: http://www.luosuo.net/old/sitemap.xml
0 t) b; j% W0 J$ o& }很粗率,完了上robots驗證驗證一下或者麻煩些。。。
3 O$ V; C7 J7 i5 p9 b- g5 J7 E1 z
4 a! K5 M1 H9 T. ~5 b4 M" aUser-agent: Alexa*" Y" U$ ^! c* @. q8 [$ B7 J
Disallow: /*.php$) x) r6 w8 m( x3 `. {) O! d
Disallow: /search/( ]- S* m4 m) t4 e! y+ \
Disallow: /tag/*?*
5 N) J/ e4 D9 o7 q) U- w0 @Disallow: /*.html?*
8 {3 S% B; u$ L+ \Disallow: /page/*?*! e3 j: E: V; r7 y5 Z
Disallow: /wp-admin
3 L& G6 t% y5 V4 P2 nDisallow: /wp-*.php
9 j5 J) M6 s3 ?6 oDisallow: /comments/
0 w4 J" {6 L& x) M+ y  o) SDisallow: /trackback
  a" O3 q' s0 qDisallow: /*.html/*?*
0 {- a4 W6 y% p  M' P# p1 FDisallow: /*/trackback$ t, W% }. O& H7 p' h
Disallow: /comments/feed
+ f. b9 Y: ?$ P/ y8 eDisallow: /*?replytocom=*
" G2 f9 K8 P& D( |8 S/ KDisallow: /*/comment-page-*8 X* a3 e" h( i8 i

4 e8 W: t/ ^2 ]$ j* YUser-agent: Aol*
) D8 e! p/ G; O$ j8 W5 @* LDisallow: /*.php$. z6 v( w' c( {% I
Disallow: /search/
, p4 a3 u" _# N) IDisallow: /tag/*?*
5 E* ?- k9 N+ E# M: G8 P; ZDisallow: /*.html?*+ L1 K! E' `( `8 t" W
Disallow: /page/*?*
" g+ q7 r, P. M8 p* JDisallow: /wp-admin
- l% z. c# q+ iDisallow: /wp-*.php
) n0 |7 u& V6 ]* _6 pDisallow: /comments/
& @" o/ l) T- y2 Q, o. m# hDisallow: /trackback/ U# g$ `) b. l% ^/ J
Disallow: /*.html/*?*
5 C* W( L7 z6 `9 l2 a, b8 J' VDisallow: /*/trackback
- S( ^) ~( W1 v, {Disallow: /comments/feed
9 [2 }7 a4 g: \2 a' HDisallow: /*?replytocom=*- W; L$ a( j$ G& h. s+ U
Disallow: /*/comment-page-*
' E  E1 x. r% }9 c' ~- @4 a
9 k( c  K* h0 n2 W& o- oUser-agent: Ask*
$ o% e) h+ n# r! e( h% I1 ~. j' ]Disallow: /*.php$
6 X: q' X0 g7 E) F! CDisallow: /search/
; M1 G9 ?4 Z7 m# g% a# BDisallow: /tag/*?*  a& @5 ?0 b3 j
Disallow: /*.html?*
* |$ H) W- {, ]% Y; r, W: d- ^4 MDisallow: /page/*?*; x7 l$ ^0 I1 V
Disallow: /wp-admin2 D' Q9 r0 @8 N
Disallow: /wp-*.php
. x7 s% K, o) U: y3 \/ t( UDisallow: /comments/
7 s$ d9 V% |% E" {9 a# eDisallow: /trackback4 M2 u* j6 s3 }3 |- D( W& u
Disallow: /*.html/*?*4 t: ?5 n7 R& ?- A, s! T
Disallow: /*/trackback( ~3 Y5 U$ D; o) F9 K$ `3 V+ ]  i+ C
Disallow: /comments/feed
4 E* ]( [9 I, Q' l9 |Disallow: /*?replytocom=*7 v) V! E+ v' s; D& p; r
Disallow: /*/comment-page-*
- A: N$ p" j7 K& h% ~% }. p; ], Y0 `7 ]" |! i
User-agent: Yahoo*% \; _" V* X4 _0 i* y# R" f
Disallow: /*.php$
- r4 ]0 P  H2 \, f# a8 k3 w, r/ C: ^Disallow: /search/
2 L: R! l- R0 ]8 u( [/ @- v' oDisallow: /tag/*?*
( Q# B" i  O. ~* G" v, a2 {! mDisallow: /*.html?*
4 O2 t( m2 Q. d' JDisallow: /page/*?*% a. b$ a4 T; O  L
Disallow: /wp-admin& I. W+ Q1 ~, I% ~: t
Disallow: /wp-*.php6 J5 [. m) `, |
Disallow: /comments/2 \! W8 b" W! r8 ~
Disallow: /trackback* N. R! s8 z' n; J# n! E: }) C
Disallow: /*.html/*?*
  D9 f/ f9 _0 _; k, NDisallow: /*/trackback8 @) b) |& J$ f
Disallow: /comments/feed
' P3 V  x2 e5 K* tDisallow: /*?replytocom=*
( I4 }8 x) \/ C( d9 |- C% Q9 C1 EDisallow: /*/comment-page-*
! x7 y) i. l3 S* p0 l( w# e4 W) {6 U2 c- |; ]' N
User-agent: Bing*
3 i' A5 P# l. ?8 U/ @3 hDisallow: /*.php$
( B0 j* T7 l$ C+ z6 ^& J8 HDisallow: /search/+ m5 E$ ^' m$ {& m, D
Disallow: /tag/*?*
3 s& e( D8 E' L/ |- m4 L8 VDisallow: /*.html?*" ?, B. P) m7 Z$ r; a  _
Disallow: /page/*?*
: ?: {# A) ~# \- ]Disallow: /wp-admin
: M; v9 ^# q# dDisallow: /wp-*.php6 V& @1 ^9 a0 N4 N7 I0 ]; S+ F
Disallow: /comments/
$ G, ]3 v2 K0 w4 O4 `  A2 O' `Disallow: /trackback
% a* C- x5 i5 h! \' u0 D0 b) _Disallow: /*.html/*?*/ E$ r9 x  r, R; y1 M
Disallow: /*/trackback
! m) ^' c1 A# a# h# HDisallow: /comments/feed
& |" b9 o6 ]* z, J$ I6 {0 CDisallow: /*?replytocom=*
) B$ g* a) G6 ?/ i0 tDisallow: /*/comment-page-*, o0 u$ U7 L, M) F
- b: O8 X' x( e, \7 N1 T
User-agent: Google*- r* N5 @$ ]% ?
Disallow: /*.php$
) h" q& i" P" A1 j/ `Disallow: /search/
6 [/ T  |% p% ~  G& [2 ^4 ~$ vDisallow: /tag/*?*
" K, i: k5 \3 ]$ eDisallow: /*.html?*- h, Q4 H) }6 d2 k& R
Disallow: /page/*?*: n& Q4 z4 s6 c+ D! W. g1 _- C& G. [
Disallow: /wp-admin; K+ O) ~, Q- x- c2 ~
Disallow: /wp-*.php; m' _* W; ~* h. ^
Disallow: /comments/
! @  M% e4 ^; m& r9 BDisallow: /trackback
" d; q* c' v  YDisallow: /*.html/*?*
0 }6 D. ]/ i* V& F3 j% s' T0 a5 n8 ZDisallow: /*/trackback( [  B3 W8 o& q& C
Disallow: /comments/feed
  _* i% x  O* w2 B2 bDisallow: /*?replytocom=*, g" s  v6 ?7 A
Disallow: /*/comment-page-*
7 @* m8 y9 S& b8 U- Q9 ]! @$ K$ y
User-agent: *
* k- S0 k: x/ Z4 [  B" i3 L. \Disallow: /
) n5 ?7 k' t. ^4 A' }Disallow: *% H; |) x" \! j1 C, {$ e0 i
: Y: H1 o, d& v2 {) i; f2 W
Sitemap: http://www.luosuo.net/old/sitemap.xml. e( A8 M3 R6 @, Y) \3 i
# ]1 P# }/ R( _* H$ B

3 I2 Q& _$ s# p* J* e1 a
9 `4 z. _% a! z6 R
7 r; b; Z1 F5 o+ x% v/ m1 |9 {- P3 j8 A4 ~

# s2 q( U& m7 H) c' b6 H0 O3 n1 K& G0 {9 R, J' s
回復

使用道具 舉報

發表於 2014-12-29 16:10:49 | 顯示全部樓層
1.學習下robots.txt語法,其實很簡單% a: i$ l' R" o0 C
2.google下各個ua% s; B; {( U; T. V0 N, o
: b2 ~, [+ J* H3 ?; }
回復

使用道具 舉報

發表於 2014-12-29 17:39:32 | 顯示全部樓層
本帖最後由 work4seo 於 2014-12-29 17:40 編輯
2 b) |& s0 b! u' ]" T8 V: Z4 w3 E, _) a9 H1 M( k0 D! |; v5 p
只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。3 ~3 W- v$ {' Q2 T
User-agent: Googlebot
7 `- [) R7 X7 Q# _3 bAllow: /6 U2 |* A6 \( J) E9 R* q
Disallow: /mulu/3 l  ]- g2 i3 N2 h
Disallow: /*.css$
  L4 m3 o' h& k
6 @/ V7 z' W7 L, {( f/ L* M7 n3 p2 ~7 n$ J
User-agent: Googlebot-Mobile& R5 w2 o9 ^8 W1 J& a: Q! v
Allow: /
9 T! q6 S/ c! S% s) MDisallow: /mulu/# b& a- w- f5 Y) E# X
Disallow: /*.css$' K) \% T/ |: F* V4 P
  [' u2 Z. ~8 W9 v8 y7 z
User-agent: *
3 g! s# U6 V! D+ x# r5 S6 [/ GDisallow: /
8 W/ T- f3 ]9 }7 K, t
6 {- {! q; P8 t3 q; `- |Sitemap:http://www.xxx.com/sitemap.xml- T7 m, l6 E! ]. t$ |+ |- h4 v* a
其實百度百科裡面寫的很詳細啊。。。
7 X5 o5 ^( @; K* ~( Xhttp://baike.baidu.com/view/9274458.htm#3_1
% p" ^6 H8 B. T" p* \! s4 r- _( ^* M$ n8 f4 s+ e6 A
回復

使用道具 舉報

 樓主| 發表於 2014-12-29 19:57:12 | 顯示全部樓層
work4seo 發表於 2014-12-29 17:39 * j) }) l. i/ y9 ^" O0 D7 g* S
只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。
) m+ t" ?1 ~' E& ]User-agent: Googlebot
8 ^; t+ _/ |) n- s* L2 F/ bAllow: /

# U# o! r8 b, D" }
5 `! G, d$ q- R  i. q5 d7 MAlexa, aol, Ask, Yahoo、Bing  ??
% e9 V* s6 c# V. G' I0 ?) e
回復

使用道具 舉報

發表於 2014-12-29 23:48:51 | 顯示全部樓層
要將
. k" m; |- X" V2 P7 h' {User-agent: *
, a" I: Y7 f/ X7 o3 lDisallow: /% r; L' s7 N  H" v. I0 e) T

" K; x0 {& R7 w) j- V3 G放在最前面吧?後面的設置會覆蓋前面的設置?% @- G: @! z* R3 n
回復

使用道具 舉報

發表於 2014-12-30 00:10:04 | 顯示全部樓層

2 M" p5 R9 z+ y  kUser-agent: *- C( [( h0 ^- g+ ]
Disallow: /
. u. ?; P- P  d3 U
0 e0 f* E! P( N6 `" J8 oUser-agent: Google*,Yahoo*,msn*,.....
& w; v5 ?4 O. o+ @: dAllow: /
3 O6 V! b) n  g' LDisallow: /mulu/: }4 @; Z$ `- m! z7 b, |! X
Disallow: /*.css$
3 }3 z7 p4 J1 u" E$ c# D& S7 Z: R$ O: ^! ^  B) z/ _# E
Sitemap: http://www.luosuo.net/old/sitemap.xml
9 K. d( n$ p; D; }! u, }6 Z  z* g: n% E: u1 K; T7 p/ h) S
回復

使用道具 舉報

發表於 2014-12-30 00:16:14 | 顯示全部樓層

& D6 E! G3 z1 W: j& w- uUser-agent: *- _3 V) j. I# G, G" f6 W9 F3 A1 ?
Disallow: /
* U" ]$ x" y2 n( @! ?
9 v4 {0 }# K( m. q* `7 tUser-agent: Google*,Yahoo*,msn*,.....
6 Y8 K! }3 u% D& @2 T, R$ [! J8 N6 kAllow: /5 f8 P& _* e' ^9 S/ Q" \
Disallow: /mulu/- h0 s1 l/ G0 N
Disallow: /*.css$
( i" f$ F1 U( i6 M9 b; V& A' E
8 G  L1 r/ j0 c% l' d  Z: c' qSitemap: http://www.luosuo.net/old/sitemap.xml
( U; `" Z  z: w9 \$ ^& q1 D9 q$ ^' D6 }  t
回復

使用道具 舉報

發表於 2014-12-30 10:29:14 | 顯示全部樓層
樓上幾個都不錯,炒一下吧% o+ n+ X+ N9 b. [0 T
回復

使用道具 舉報

發表於 2014-12-30 20:50:17 | 顯示全部樓層
這麼多都要寫啊。。。4 N0 V2 O# j9 |( q5 p
回復

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

點基跨境 數位編輯創業論壇

GMT+8, 2025-2-19 01:52

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表