过期域名预定抢注

 找回密碼
 免费注册

懸賞wordpress英文站robots.txt 規則的完整寫法

  [複製鏈接]
發表於 2014-12-29 15:35:48 | 顯示全部樓層 |閱讀模式
懸賞16點點已解決
本帖最後由 hardrock 於 2014-12-29 15:45 編輯 ' t( U# p8 U! ?1 T

: o1 o# E4 U# C+ Z, T. U懸賞wordpress英文站robots.txt 規則的完整寫法
6 N- j" z  t' V- r按以下要求寫( i, Z1 T- ~7 o6 c
1,只能Alexa, aol, Ask, Google、Yahoo、Bing的爬蟲訪問,其他的禁止
( ]) ^* [9 |2 S$ P2,禁止訪問特定目錄,文件類型的通用寫法,適用於wordpress英文版3.6~4.1版本
1 ~) @0 E& Y, v/ y3,  Sitemaps文件
8 N2 P, k/ s+ C
4 l  ~- w, S. x5 T8 n2 g, f2 K0 ~) f1 c
* J+ o9 l8 U0 |2 A
; N' t3 v! G1 o) Y' k8 f

/ ^: B0 j- l5 [: d6 F7 |
2 v: C& |+ \1 J6 e$ o+ e% C; K2 {& p' A& K2 |! Z: C- @

最佳答案

查看完整內容

User-agent: Alexa* Allow: / User-agent: Aol* Allow: / User-agent: Ask* Allow: / User-agent: Yahoo* Allow: / User-agent: Bing* Allow: / User-agent: Google* Allow: / User-agent: * Disallow: / Disallow: /*.php$ Disallow: /search/ Disallow: /tag/*?* Disallow: /*.html?* Disallow: /page/*?* Disallow: /wp-admin Disallow: /wp-*.php Disallow: /comments/ Disallow: /trackback Disallow: /*.html/*?* Disallow: ...
回復

使用道具 舉報

發表於 2014-12-29 15:35:49 | 顯示全部樓層
本帖最後由 yzhvps 於 2014-12-29 22:09 編輯 8 N7 m, \! U: B  M8 k

6 o, ?+ I, [+ n: `4 fUser-agent: Alexa*
* N4 E- N1 `2 ]6 `. |Allow: /
& _6 h. c: k( N% DUser-agent: Aol*
* U; f+ e2 g! U* _1 dAllow: /
1 N& a, H$ m+ Y" KUser-agent: Ask*3 L0 U: @4 |" O8 F0 O# Q; _2 \
Allow: /
- x! E9 }. [5 o& l* F, G1 t3 AUser-agent: Yahoo*7 o8 [( W4 f& n/ P- D8 S3 Y% u
Allow: /
- X+ w/ j& D9 r: s3 B. h2 RUser-agent: Bing*
. K1 F( `) W- U# K5 t% o0 TAllow: /, }; b2 n0 r1 S& y+ p/ y- ~
User-agent: Google*! X" A, `- H* n/ [7 T
Allow: /( [5 z* U" Y6 q' h8 G# D& y2 A6 D
8 F9 X0 p& f7 W8 _* T
User-agent: *
! `9 O/ A" c! P6 KDisallow: /) @( G4 ]2 L0 E' ]
Disallow: /*.php$( J- G8 ]9 P% c
Disallow: /search/
: e" f7 f; n( M+ e! a( C" q0 jDisallow: /tag/*?*  }7 m/ z# g7 W: g0 G" \
Disallow: /*.html?*
+ t3 s' w: i, \8 V( i  jDisallow: /page/*?*; F  W2 E! O1 D% D  f5 f
Disallow: /wp-admin
/ o% C. c7 q% G8 t0 a8 N' aDisallow: /wp-*.php; }" L" m7 \5 o0 j5 r
Disallow: /comments/+ x8 }0 }  U9 X7 \7 S; f6 m5 h
Disallow: /trackback+ a' k  L6 i$ i2 r
Disallow: /*.html/*?*. @6 C( b+ r6 t" h. _
Disallow: /*/trackback
7 V$ L0 C0 J4 P! ^: X3 e$ HDisallow: /comments/feed
' G" ^" T- X: A) F; x& PDisallow: /*?replytocom=*
3 U: K) q1 V  Q! VDisallow: /*/comment-page-*
7 ~3 I3 j$ L2 G8 C
4 n6 g4 U, R% XSitemap: http://www.luosuo.net/old/sitemap.xml5 ]# n8 C) i  z5 h; J0 x; ?" E
很粗率,完了上robots驗證驗證一下或者麻煩些。。。
3 _  q5 s, I7 O8 i) K" e6 `/ v; X/ V" i, X3 J  P/ B  q' V. [
User-agent: Alexa*
% y9 y& d' a. @' FDisallow: /*.php$
% ^4 ]: e9 M5 l8 ?, wDisallow: /search/
7 y1 b. W% L; l0 H0 Q  YDisallow: /tag/*?*
4 v: B( P2 N3 R3 R  K; x# {- i% |Disallow: /*.html?*
( b8 p; I& {4 X7 B% M& I& l6 F' PDisallow: /page/*?*/ |; B6 Q* E# x  X4 q* Y' j
Disallow: /wp-admin  c6 m, u, _) F- c* Y, _
Disallow: /wp-*.php
$ h+ K6 a% v6 U' H0 eDisallow: /comments/- y3 c% \: a* X
Disallow: /trackback
: s" o6 n- y9 h  pDisallow: /*.html/*?*, g! a$ u7 K8 E" n5 W" U: t
Disallow: /*/trackback0 ~$ ^- F( m5 n& t
Disallow: /comments/feed
: u5 E) @' g1 u/ ?2 a+ P* ]Disallow: /*?replytocom=*; U  z6 \' E1 C" g5 y  i: \
Disallow: /*/comment-page-*
# B( o$ \$ K2 M8 q
% y- a# t. Z: fUser-agent: Aol*
! z4 V. }! d/ @  Z1 yDisallow: /*.php$! f' g& d0 `& H: A9 r
Disallow: /search/) I  Z3 }* i+ [# F/ s
Disallow: /tag/*?*
2 K) W- x  `  J6 VDisallow: /*.html?*
' f" Q; }( p- o3 l/ c. hDisallow: /page/*?*  W; ]& r& O0 {" V9 F
Disallow: /wp-admin
& e- \$ u" r$ O# e1 b+ `Disallow: /wp-*.php
, r( N* L7 I+ z7 l" N9 @6 eDisallow: /comments/! a" M3 H7 w" Z8 _7 ^, U3 x4 h
Disallow: /trackback1 F. P9 r+ U: J
Disallow: /*.html/*?*" v$ m& S( v" v
Disallow: /*/trackback& t6 u* @3 t( r! [* W
Disallow: /comments/feed. |7 _# ^5 J4 S% c% C1 }
Disallow: /*?replytocom=*
2 P( r% C& W$ g1 O. YDisallow: /*/comment-page-*
5 V4 |# z& ?. ]2 f
" L2 m0 D3 h. d3 z8 n* }User-agent: Ask*% W* Z% a* S8 X0 N
Disallow: /*.php$
0 A8 R5 r' d8 j; eDisallow: /search/6 X) |; o* i% n( l
Disallow: /tag/*?*
$ [7 a) w( Q4 z0 W0 ^" oDisallow: /*.html?*+ M, G. \- Z  m' j6 `4 i, B, _
Disallow: /page/*?** F+ ?+ r( E8 _8 R
Disallow: /wp-admin$ Q8 z- b2 r3 X, I
Disallow: /wp-*.php
/ l& Q& W$ F+ ^5 p1 l" b6 eDisallow: /comments/
, v/ T( a4 U# m$ h; r; Q; F4 sDisallow: /trackback7 Y' q# O- C7 I0 E$ o+ p! T( [$ l# }
Disallow: /*.html/*?*
! Z$ L8 X: s. a. f' d% Y8 |Disallow: /*/trackback2 v- b& q$ S1 }$ S7 O3 Q
Disallow: /comments/feed
; |7 a+ [& p* S( CDisallow: /*?replytocom=*
, U: R( m5 y' u1 WDisallow: /*/comment-page-*
4 L) @$ F3 z- f! W' \  `- p$ w) }! Q0 \' H8 L6 x7 D, D* y
User-agent: Yahoo*# A  z0 H% J* K7 E( m5 O" l
Disallow: /*.php$
, ~. o, H( c7 Y- @* {% c' r' I1 jDisallow: /search/& D+ y9 X& n( o
Disallow: /tag/*?*4 r9 Y  [) R( |0 E; H
Disallow: /*.html?*
8 ]& S, }7 \& L+ A) DDisallow: /page/*?*
  p* u7 F5 ?- H& ^Disallow: /wp-admin
' D" |7 Y% L- z3 y% ODisallow: /wp-*.php
' v, l" E, J6 E; u  [Disallow: /comments/" N) g# Z. ^- r) }! F8 @/ q
Disallow: /trackback
; ~/ f- d6 b1 G- tDisallow: /*.html/*?*7 y# L6 |9 C, S% D. w
Disallow: /*/trackback, f5 _) W4 z7 B2 D5 y  z* R
Disallow: /comments/feed# B. E3 Y# T7 y5 B0 q
Disallow: /*?replytocom=*
+ c( A  A9 Y) G: X, M. _Disallow: /*/comment-page-*
' n: J1 d8 A0 a5 A8 @: n) \, ]0 A2 ~' \) K% K( Z
User-agent: Bing*
0 C, N2 M' D. F1 T  L0 |Disallow: /*.php$
3 ]" d9 Z, L1 v3 s2 ^# o6 LDisallow: /search/0 O& h; T9 R) ]$ t  d
Disallow: /tag/*?*
( A$ ~: [: H3 K/ ?% o9 EDisallow: /*.html?*
% s  X* N, Q# Z' H8 @4 L8 o2 ?: yDisallow: /page/*?*) Y. R4 }: @* S  p: p: T, q
Disallow: /wp-admin
3 `; i7 z8 y! N2 ?Disallow: /wp-*.php# b# Q8 V. T# W9 P( G3 T& V& A7 h
Disallow: /comments/
# K' d4 P0 F* `/ WDisallow: /trackback
( c. D9 g% m* n" e& S# w9 oDisallow: /*.html/*?*
6 Q3 |5 O/ v9 |4 X3 F6 o4 VDisallow: /*/trackback
& Q' T' l, i+ Y5 D/ L* sDisallow: /comments/feed
' s- M% e7 c( A9 B( o; @Disallow: /*?replytocom=*
+ @. V7 I4 t) G4 \Disallow: /*/comment-page-*
' Y' W+ ?- H9 u# ]4 V; E3 a' M( M4 }( j: r' r; P1 P
User-agent: Google*
5 Q- V8 h& l! L/ N9 i- \! qDisallow: /*.php$
  o) l2 W  X+ G; `5 M& O0 b! IDisallow: /search/
6 s5 v& q* |1 H$ ?( s6 q* \Disallow: /tag/*?*
; \2 d4 ^4 e) X' YDisallow: /*.html?*
9 K: g; {* \- E8 S6 ~1 EDisallow: /page/*?*7 }( \! b$ J% \& f
Disallow: /wp-admin
% D* ~% @! ], H- Y* j+ TDisallow: /wp-*.php
0 I) ^* g3 X+ E: [- Z# EDisallow: /comments/
) v! y) n( `" YDisallow: /trackback9 p& K6 E: K& Q( E- x
Disallow: /*.html/*?*  {: G% L5 u6 K' L
Disallow: /*/trackback) G. ?. ~% q5 u
Disallow: /comments/feed
( g: Y& c7 M: ^" k6 c% ODisallow: /*?replytocom=*# f( U' T, ^. B$ w% g, B
Disallow: /*/comment-page-*
8 u- ~! w$ U4 X
& S$ j0 |4 R6 [% g) XUser-agent: *
  W( Q. s& R4 d. X1 g: uDisallow: /
1 A9 ]/ v6 ?  d" D7 _, W4 KDisallow: *+ c8 B( S" E$ {4 p3 n

- T7 D8 Z  w  w3 G  oSitemap: http://www.luosuo.net/old/sitemap.xml. X/ d0 h" I( I/ k  p7 `

+ O8 Q, Z5 p# G" i, ]8 d
8 u% k* L8 y  ~% J/ X) w) e
1 J% q' E9 q0 i7 Z2 L7 w
. a5 F( d! _* \/ Z2 H: P6 d' t; u$ J
. I1 j+ Q0 ~. I6 v1 a( w* L8 h3 E7 m5 O; Q- w

' |; C. O7 K. D, X
回復

使用道具 舉報

發表於 2014-12-29 16:10:49 | 顯示全部樓層
1.學習下robots.txt語法,其實很簡單8 ~6 h( e0 i6 y+ L* K( r$ M
2.google下各個ua
" T# u/ y( L' J" e, c- v) L
; _  f! i7 @* {. c. D
回復

使用道具 舉報

發表於 2014-12-29 17:39:32 | 顯示全部樓層
本帖最後由 work4seo 於 2014-12-29 17:40 編輯 ( J) ~! C3 A1 u8 k
/ ?6 B* j5 x, e0 P3 @7 R/ }
只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。
& o$ `" @  I. h: V& YUser-agent: Googlebot
& F+ l& N8 J) qAllow: /
4 o; q" D8 U# g, `& U; v) J: \Disallow: /mulu/+ v) O4 e$ P7 X, b. X- O' B
Disallow: /*.css$6 r; N' N, i& V0 D
0 z& N: e; u* L

& g2 v, I- |3 [8 j: UUser-agent: Googlebot-Mobile
) X) K, a! j+ X: R4 S9 ?- _Allow: /8 l; n& M1 U# o0 u8 \
Disallow: /mulu/
* L0 Q* P5 m/ B2 w. x. W0 t  ?Disallow: /*.css$2 W+ E+ n! l5 N% J* k
1 p( P5 C$ q9 J: r& @% u$ i- x8 h
User-agent: *3 H. P" y2 U  Z
Disallow: /7 W  ?  t+ ~5 [5 n, q; G
# x2 g3 n+ }$ e$ U" v% E: g
Sitemap:http://www.xxx.com/sitemap.xml, {8 f3 u$ D3 Y) x. U& `3 Y
其實百度百科裡面寫的很詳細啊。。。+ L5 z7 n, ~$ h8 K
http://baike.baidu.com/view/9274458.htm#3_19 e5 Y3 L  Y) p% [4 t
: p( f& d) D: d' ]  m
回復

使用道具 舉報

 樓主| 發表於 2014-12-29 19:57:12 | 顯示全部樓層
work4seo 發表於 2014-12-29 17:39
. d3 L! N' ]1 S: f8 p4 ^0 ?只寫了google的寫法,你需要讓哪個爬蟲爬,照抄一份UA進去就行了。) {% b: x9 s- Z& ~- ?$ z
User-agent: Googlebot: |6 h, S5 p+ V  b6 z
Allow: /

7 f$ I& u/ ]' {& d; f& C) g8 \* A* f
Alexa, aol, Ask, Yahoo、Bing  ??1 Q/ N2 L, e$ p# X
回復

使用道具 舉報

發表於 2014-12-29 23:48:51 | 顯示全部樓層
要將
6 W9 J7 R' |# {4 n3 y# D0 ]+ VUser-agent: *
% R! L1 V# {+ `" {& I" mDisallow: /& E2 h- Z5 D% \/ b3 \% L2 B
, D; T1 E- q+ o# F7 S+ n  Q
放在最前面吧?後面的設置會覆蓋前面的設置?( C, x& t2 I% H5 S
回復

使用道具 舉報

發表於 2014-12-30 00:10:04 | 顯示全部樓層
- a% k+ G" v3 g3 e' T  [
User-agent: *
: Z: u' }3 C0 |, R% UDisallow: /; Z5 s- D4 b7 U+ f3 i: W0 f

1 o3 J7 [, Z# B% B4 C" JUser-agent: Google*,Yahoo*,msn*,.....* n7 T- T6 Z+ p
Allow: /
7 `/ d3 e0 I# r6 f$ c7 FDisallow: /mulu/
9 R) L+ Q2 x9 @0 O4 S+ U9 ADisallow: /*.css$- Z- d) b# o" j( O  N" t
) ~! Q8 B. D" O, H* `3 _! A0 u$ k
Sitemap: http://www.luosuo.net/old/sitemap.xml' t2 \, b/ @! I  ?+ o; n

! Q" o2 B# a2 ^1 M
回復

使用道具 舉報

發表於 2014-12-30 00:16:14 | 顯示全部樓層
+ R, I" Z: e1 R1 A% \
User-agent: *
, x5 @3 v: T; q0 e$ P' g$ S& M* b% bDisallow: /- Z% T2 V2 E7 ~! f6 ~3 y8 ^
5 j! O- z+ Y$ Z1 J# j5 _
User-agent: Google*,Yahoo*,msn*,.....
3 V- y% v' E" h& t( I/ l7 \7 BAllow: /
' R1 }2 V+ J7 Q) RDisallow: /mulu/8 m) S, p" y! Z( V' U
Disallow: /*.css$( u1 S/ F9 |2 I. a. g3 g. l

& N% N( s& q+ z! J0 ?5 E0 USitemap: http://www.luosuo.net/old/sitemap.xml, o0 ?/ W4 t/ {& [( c) d7 u+ P
) E7 b$ l* H) j) c% O$ b7 \
回復

使用道具 舉報

發表於 2014-12-30 10:29:14 | 顯示全部樓層
樓上幾個都不錯,炒一下吧+ A3 E" @7 x5 A: F  Y& W1 z* k
回復

使用道具 舉報

發表於 2014-12-30 20:50:17 | 顯示全部樓層
這麼多都要寫啊。。。( K1 ?# _/ J9 T- i" l  F
回復

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

點基跨境 數位編輯創業論壇

GMT+8, 2025-2-19 04:49

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表