过期域名预定抢注

 找回密碼
 免费注册

求助貼 我這樣寫robots.txt 對嗎?(wordpress)

[複製鏈接]
發表於 2010-2-2 10:05:35 | 顯示全部樓層 |閱讀模式
我用的是wordpress 我把wordpress目錄放在了跟目錄下 我樣像寫對嗎?
, }: ~0 w3 ?: O0 ^2 R2 c5 c9 \" }2 f我的主頁被google收錄了,怎麼連我做的那個破flash 都收錄了,但其他文章頁面一個也沒收錄,是不是跟我寫的robots.txt這個文件有問題! a7 ]2 Q5 }# x( D, m& x
謝謝,
8 t' X; _( ?, s5 a$ b3 oUser-agent: *
3 v$ [; I9 P" ?7 NDisallow: /cgi-bin  A- f( t% X: J. @5 Z
Disallow: /wordpress/wp-) y" |+ d! `. J9 k9 R! Y
Disallow: /wordpress/feed/$ Y* O" [' Z, L1 U9 `7 m- v7 d" X1 M5 r
Disallow: /wordpress/comments/feed" x8 l$ P+ M$ `& j  f( b
Disallow: /wordpress/trackback
# Y' P# X$ b- K* Z' |) CDisallow: /wordpress/comments3 c. z! N6 ^6 t! S7 j
Sitemap: http://sfood.net/wordpress/sitemap.xml9 I: j& z4 F% x5 A
Sitemap: http://sfood.net/wordpress/sitemap.xml.gz
發表於 2010-2-2 10:32:23 | 顯示全部樓層
本帖最後由 sockpuppet 於 2010-2-2 10:39 編輯
0 A- U/ H' U" j& r4 J% T4 k& e+ G# n  S/ ?  c, V& O
我喜歡加個wild char
9 a' f4 j* J8 G: s  o. f1 B$ n像這樣
4 i' n, E/ q% i$ u3 \0 t0 lDisallow: /wordpress/wp-*7 F7 U6 a% X7 Q
Disallow: /wordpress/feed/*
8 @) _( S1 Z3 ~0 Z6 o" O9 @4 t6 |: s+ q7 S9 m# f
看樣子你還得加個
6 r, _: J! t, X, q5 r9 M+ k/images/*( {: ]- p! k7 J! q6 D

1 c2 F' U' D3 T" t* google可以辨別出來,其他的我就不知道了
; a7 ~3 d" r0 u* }3 n/ D# c1 d. n# k
一點補充:
0 p9 _# _# l5 c; E我個人的
9 r* E2 ^! i# ~) p2 h- lDisallow: /*/feed/$
$ P& ]4 ~. j& k  `# Y4 xDisallow: /*/feed/rss/$
  g, b/ x: S4 m7 ^. D# U9 aDisallow: /*/trackback/$9 |' j5 f4 o7 X$ t6 I
Disallow: /wp-content/*2 \  X" S0 f8 {' x
Disallow: /wp-admin/*
/ @4 E, j( U5 [" _1 Y0 NDisallow: /wp-includes/*
& n2 w. @! ]( D( l* @. o* hDisallow: /trackback/*9 t& G* m1 T. ]+ N+ P+ f
Disallow: /feed/*
: d4 d' C0 x5 j. yDisallow: /comments/*
' |8 E& @& }. W% YDisallow: /page/*1 b# T& @4 p3 |: w! @0 p
Disallow: /date/*  t+ F5 V2 H' R
Disallow: /archive/*9 o. Q# V2 m2 e& k% V' N0 Y
Disallow: /rss/*
, K" d( U" H4 _9 r/ G! G: q4 P: W* e
這對於duplicate content有作用。: M* F: V2 x& W0 \
還有,即使你用robots禁止spider,還是會索引的,但只有鏈接(一部分或根本沒有)會出現在serp上.
% _$ i2 n% c% N# L9 N/ C" o) K! f4 C. c5 P3 s6 g
對了我有個food的autoblog.但沒你 首頁 那麼漂亮。2 _: ]; o4 C. W6 a4 y
會美工真好
回復 给力 爆菊

使用道具 舉報

 樓主| 發表於 2010-2-2 11:08:04 | 顯示全部樓層
我那會什麼美工啊,那是我鼓搗了一周才鼓搗出來的,我新手,這是我第一個站,
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-2 12:05:01 | 顯示全部樓層
你可以給這個wp地址添加一些站內外的鏈接
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-2 19:44:32 | 顯示全部樓層
  用幾個最常見的情況,直接舉例說明:9 L3 i3 m* H5 f" s3 p3 ]" X
  1. 允許所有SE收錄本站:robots.txt為空就可以,什麼都不要寫。6 V8 m( M: u6 i4 M% j1 J
  2. 禁止所有SE收錄網站的某些目錄:  J# ]) A  u) U, G. u
  User-agent: *; Z- V. z+ Q- M
  Disallow: /目錄名1/
5 b: W  W0 U4 K* h  Disallow: /目錄名2/
/ K9 P" h% s8 T: I0 p  e- Q, P, [  Disallow: /目錄名3/
- {- l8 ?6 L0 d  N+ l$ R' ?  3. 禁止某個SE收錄本站,例如禁止百度:8 Y0 `2 S' f9 ]- X" w' ~
  User-agent: Baiduspider
& `" J4 r5 A# ?* P  Disallow: /) q6 u/ ?; v7 ?: f4 j" e* Z
  4. 禁止所有SE收錄本站:  A3 t) M6 e2 u- Q7 l1 f) J8 c- F: Q
  User-agent: */ B- X$ l5 X1 p2 Z1 z9 ^
  Disallow: /
( l8 Q! X4 M4 I; g  5. 加入sitemap.xml路徑,例如:: s/ i: {, W. Q  i( p" h
  Sitemap: http://www.advertcn.com/sitemap.xml
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-2 20:17:42 | 顯示全部樓層
本帖最後由 sockpuppet 於 2010-2-2 20:22 編輯 0 x3 D$ V6 _) i* {2 F$ B# ]

6 E6 n, S3 ^( _! q只有seo-greenhat答到點上.
$ s* `' f) `) @$ }9 ]不好意思,我在二樓沒回答到點上,而且誤導了ls的。
% [. U$ {' t3 |lz想問他的網頁收錄如此之少,是不是因為robots.txt寫錯了。很明顯沒錯。
; Z; L4 {/ W; j; ?: O8 _2 f1 [5 |+ X& B9 u* E
還有,你干麻用衝浪站阿2 G5 w; h) [  Y- ~( h
http://www.autosurfpro.com/cgi-bin/top.cgi/ ^) d! s! B2 G; y
忌諱忌諱。
, r. o! T! M( F# u, a! \5 `
: J  z5 B( p1 B. W8 S- L+ ^5 N多弄幾個外鏈到$ B! y' S/ \- U5 c
http://sfood.net/wordpress/category/slimming-and-beaut
& p7 v5 i1 w3 x2 }http://sfood.net/wordpress/category/healthy-cookbook, j' ~# [3 S  f5 R5 K
http://sfood.net/wordpress/categ ... se-medicine-regimen& }) h) A& h  s5 `& r
http://sfood.net/wordpress/category/food-common-sense" c) j. j( A" I
就okay了,noindex,follow
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-3 10:37:49 | 顯示全部樓層
不行用插件幫忙解決
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-3 12:11:22 | 顯示全部樓層
學習了,感覺用好了robots,會非常有效
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-9 12:44:12 | 顯示全部樓層
樓主的經驗很不錯。
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

4um點基跨境網編創業社區

GMT+8, 2024-11-24 02:27

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表