如何寫好WordPress網站的robots.txt文件？

robots.txt文件要放在網站根目錄下，最基本的檢查方法就是用你的域名後面直接跟上robots.txt訪問，如果能訪問，那放置的位置就對了。
/ K' k, `3 a+ d3 U* W9 _- E
( g. N% Q* c" H7 W$ n2 Q. m找到份代碼，

1. User-agent: *
   ; G  s( n) `3 m: U, F) B
2. Disallow: /cgi-bin/
   
3. Disallow: /wp-admin/
   
4. Disallow: /wp-content/cache/
   
5. Disallow: /wp-content/languages/
   # p# e  O. j# j; a: X
6. Disallow: /wp-content/plugins/
   
7. Disallow: /wp-content/themes/
   ) P8 y" m& l6 Q3 Z( G
8. Disallow: /wp-content/upgrade/
   ) O9 ]2 A8 s+ u) G
9. Disallow: /wp-includes/
   6 O# h& p& f. @0 w4 z: K: \
10. Disallow: /comments/
    
11. Disallow: /category/
    
12. Disallow: /tag/
    " Q# h% M; D% D! k3 U" m4 _& Y' y
13. Disallow: /page/
    % r) A4 V; o  x3 N
14. Disallow: /feed/
    
15. Disallow: /author/
    
16. Disallow: /trackback/
    2 I! y+ m7 |2 _& m
17. Disallow: /2010/
    
18. Disallow: /2011/
    
19. Disallow: /2012/
    
20. Disallow: /2013/
    ' V5 U# n" D+ J: r* H" K) u( Z: i0 d6 h
21. Disallow: /*/feed/
    4 w. e! @' ^+ J( Z
22. Disallow: /*/trackback/
    # f9 Q) X! t, j: C" m
23. Disallow: /*?
    
24. Disallow: /*/*?
    
25. Disallow: /*/*/*?
    
26. Disallow: /*.php$
    + K5 U' Z( C$ v- I3 X2 {# c% d
27. Disallow: /*.js$
    
28. Disallow: /*.inc$
    
29. Disallow: /*.css$
    3 c7 w6 C/ u) c  L7 K; m
30. 
    . C) E) P/ f4 @4 o# i. w: s6 Z
31. # Google Image
    ! M% X; `, _+ U9 s7 x3 p3 s0 [4 ?# H
32. User-agent: Googlebot-Image
    ! e/ t; S7 p4 h9 c+ l
33. Disallow:
    ! L$ R3 v9 T$ A3 J! h" E$ k
34. Allow: /
    
35. 
    & r+ U" l4 D* K# s# K& N4 c
36. # Google AdSense
    
37. User-agent: Mediapartners-Google*
    
38. Disallow:
    
39. Allow: /
    2 H$ ]# p% m3 w8 F& e% a9 U0 k
40. 
    ; q7 m# W- s# h
41. # digg mirror
    
42. User-agent: duggmirror
    $ G# L& u3 d& t  s- [! ~
43. Disallow: /
    
44. 
    
45. # Alexa archiver
    : b6 a0 g3 @' u4 ]/ D
46. User-agent: ia_archiver
    
47. Disallow: /
    $ E* H# E1 H; ^0 ]3 n" P% u
48. 
    
49. Sitemap:http://www.xxx.com/sitemap.xml
    
50. Sitemap:http://www.xxx.com/sitemap_baidu.xml

複製代碼

問題是這份代碼適用於中文站用於百度，我是做英文站要適用於google, 以上代碼怎樣改成適用英文站的？
' g1 b, t  E- f4 ]對於代碼 一竅不通...
* |0 Y, e; ]" O1 Q7 z9 m: `
主要疑問是31----47行的代碼，既然是英文站，這幾行代碼應該是允許的吧？中文站才禁止抓取？
. D% ^# O3 e: \4 J( }4 v9 H
, P/ y) c6 ^! L6 v$ W# ^' l
9 {" ~. b2 \; \6 T4 x9 w
- t7 f, x6 T9 O& \
! Q! J: O) A6 D8 b: I+ j補充內容 (2013-12-22 17:43):
沒這麼複雜，下面的就可以了
  j$ U' t+ \( O  [# C9 L5 T" FSitemap: hxxp://www.xxx.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-*

* t) m7 M* k3 B9 `7 N6 |* q3 Q補充內容 (2013-12-27 17:17):
2 z2 h( i% R. q( O1 ?http://blog.csdn.net/wallacer/article/details/654289

好像禁止了動態收錄？具體聽高手解答~
6 t9 X& T3 @& k$ F

我第一次看到這個robots.txt是在英文站．．．．．
可以用於英文站

  W# T2 Q2 b/ t- F; o和競爭對手學習呀，他們是你最好的老是

4 Z- l! q; s9 H/ z; f: _