过期域名预定抢注

 找回密碼
 免费注册

求助貼 我這樣寫robots.txt 對嗎?(wordpress)

[複製鏈接]
發表於 2010-2-2 10:05:35 | 顯示全部樓層 |閱讀模式
我用的是wordpress 我把wordpress目錄放在了跟目錄下 我樣像寫對嗎?8 I5 L0 `8 T' v( |
我的主頁被google收錄了,怎麼連我做的那個破flash 都收錄了,但其他文章頁面一個也沒收錄,是不是跟我寫的robots.txt這個文件有問題
/ X  Z. Q5 _+ N. A謝謝,7 g. |* K* w" q6 k4 X2 ~
User-agent: *
8 s* n* X1 |8 w2 m% I. _4 xDisallow: /cgi-bin
) h9 ?; k* G* o( v- c6 ^7 p9 MDisallow: /wordpress/wp-1 U3 @: R( S* l1 c) N
Disallow: /wordpress/feed/
. \3 {" @/ M; ^- T% a* @Disallow: /wordpress/comments/feed3 \- r, C. T9 f, v( i$ W
Disallow: /wordpress/trackback1 f, {4 s: \4 R% C
Disallow: /wordpress/comments; i5 n6 P2 G' Y
Sitemap: http://sfood.net/wordpress/sitemap.xml1 B' h8 ^' G& O5 P6 w
Sitemap: http://sfood.net/wordpress/sitemap.xml.gz
發表於 2010-2-2 10:32:23 | 顯示全部樓層
本帖最後由 sockpuppet 於 2010-2-2 10:39 編輯 % ^9 @! ]: ^2 w0 }8 `
9 \# v: m: X) W* G+ ]7 t
我喜歡加個wild char6 J: U/ h, C3 j* U" H
像這樣
+ h- f# n+ T5 Z* nDisallow: /wordpress/wp-*
- M% c. j% q( r+ ODisallow: /wordpress/feed/*
8 l, l; s' O2 E: ~  c* U% V, y: ?5 s  Y, o& L
看樣子你還得加個
1 }/ I6 L  U  B( I/images/*1 u& |5 R5 [1 ]$ y

" M. f2 T; z! ?0 `* R: \* google可以辨別出來,其他的我就不知道了, t* m# w" }# }/ q

! V. \, Z8 S6 r1 H# \) r" D5 v一點補充:
2 q5 Y) P! D7 A& m) N$ A: ~我個人的0 |  d' Z# c$ ?5 s! s7 z
Disallow: /*/feed/$4 O: Q# x) a2 S6 Z: ?
Disallow: /*/feed/rss/$/ V+ _2 u* j: Y. w& ~
Disallow: /*/trackback/$" K) I# x6 O/ B5 A2 Q% g
Disallow: /wp-content/*+ L3 r0 H8 f3 y1 ^
Disallow: /wp-admin/*3 M, @- V5 F8 h% A4 g
Disallow: /wp-includes/*
8 z$ l2 ]6 m- B: b. e+ v, P% c  eDisallow: /trackback/*
  `1 }# Z2 D7 w, l' ZDisallow: /feed/*
5 x& U" ]8 \4 vDisallow: /comments/** a3 }, t% [- ]6 K1 r
Disallow: /page/*0 \: y7 ?3 _9 ]3 @8 I% o  u) e8 r
Disallow: /date/*
, F  O7 s, k9 ]: |% V  Y$ p) fDisallow: /archive/*
& [" C1 ^! i1 o; IDisallow: /rss/*
! d" G/ X* F8 @3 ?2 a2 K* J" U' Q+ d0 h
這對於duplicate content有作用。
' `$ o/ t* c0 t7 ^# w* |% I4 v還有,即使你用robots禁止spider,還是會索引的,但只有鏈接(一部分或根本沒有)會出現在serp上.& _, `6 l- ^% a
% u* y3 w( W4 P: N. t
對了我有個food的autoblog.但沒你 首頁 那麼漂亮。
3 w' W6 P$ D, r會美工真好
回復 给力 爆菊

使用道具 舉報

 樓主| 發表於 2010-2-2 11:08:04 | 顯示全部樓層
我那會什麼美工啊,那是我鼓搗了一周才鼓搗出來的,我新手,這是我第一個站,
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-2 12:05:01 | 顯示全部樓層
你可以給這個wp地址添加一些站內外的鏈接
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-2 19:44:32 | 顯示全部樓層
  用幾個最常見的情況,直接舉例說明:. s3 z3 R/ g! @0 j
  1. 允許所有SE收錄本站:robots.txt為空就可以,什麼都不要寫。1 ~; Y$ P! K) x( \# e
  2. 禁止所有SE收錄網站的某些目錄:
5 Z, l, Y0 T; W  User-agent: *# u3 v3 ~$ E  Q$ G6 u
  Disallow: /目錄名1/
4 ?  s+ Y( h/ R$ \1 p7 x  Disallow: /目錄名2/
  k: V% `! [, K+ U( M  Disallow: /目錄名3/' H* _$ S" X& a2 U- u- ?  x
  3. 禁止某個SE收錄本站,例如禁止百度:6 C( K3 i" W6 l* {, W
  User-agent: Baiduspider  i9 Q( ]- A- O5 |
  Disallow: /: r) X/ y. p4 Q; ~$ F: _( C2 ]; T% Y
  4. 禁止所有SE收錄本站:0 f* L) w! L- N/ g8 u. w/ E3 l7 R
  User-agent: *
& r& k6 d* m% z  o% X. O  Disallow: /: p, k% g6 h7 B- q1 C
  5. 加入sitemap.xml路徑,例如:" T; E; p# }) b' w
  Sitemap: http://www.advertcn.com/sitemap.xml
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-2 20:17:42 | 顯示全部樓層
本帖最後由 sockpuppet 於 2010-2-2 20:22 編輯
9 C4 H! ~# @7 _: V% ~0 ~9 v5 t2 n
只有seo-greenhat答到點上.- g$ q- D4 j+ ~# j
不好意思,我在二樓沒回答到點上,而且誤導了ls的。) j, A8 [" N; e9 j: c& x+ }/ d
lz想問他的網頁收錄如此之少,是不是因為robots.txt寫錯了。很明顯沒錯。
5 D2 N9 p" B! f7 r
7 J9 q$ R+ [4 l" h1 B還有,你干麻用衝浪站阿
4 D2 V3 q, ?! ?, h1 |http://www.autosurfpro.com/cgi-bin/top.cgi* V6 P" h( R: i& [, J0 E
忌諱忌諱。5 q$ |  x) s0 p. u

7 `* z- U; t9 T7 l" D3 y多弄幾個外鏈到  W$ v5 {2 {9 U
http://sfood.net/wordpress/category/slimming-and-beaut
8 o6 S  z8 F9 {& ?6 q/ Y2 Zhttp://sfood.net/wordpress/category/healthy-cookbook, i8 g' W, g( n9 V6 S" Q: I. O3 Z
http://sfood.net/wordpress/categ ... se-medicine-regimen
! x6 q" P# w: vhttp://sfood.net/wordpress/category/food-common-sense* q; e( |0 Z8 s2 L* m5 A+ Z
就okay了,noindex,follow
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-3 10:37:49 | 顯示全部樓層
不行用插件幫忙解決
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-3 12:11:22 | 顯示全部樓層
學習了,感覺用好了robots,會非常有效
回復 给力 爆菊

使用道具 舉報

發表於 2010-2-9 12:44:12 | 顯示全部樓層
樓主的經驗很不錯。
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

4um點基跨境網編創業社區

GMT+8, 2024-11-24 00:27

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表