非常小黑 發表於 2013-10-1 16:16  + m4 w7 t' g8 i) }# o4 g
比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
nofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。
' _+ ]7 d' X& {# M* h比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符
- a4 T) M$ h( I8 q7 c Y. MDisallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄) A* k9 N3 Q0 j
Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
1 u, r n9 N% V( \) z. N5 h; t: X" _Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄' s: }2 [/ {. f! `* N W" {
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。
3 w/ f& z: l8 l" `8 tDisallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
7 O$ N C- }& b$ G0 M9 F9 D- Y0 XDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片; Z: j L: {/ `
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
1 s4 T+ R" M1 G* c3 x1 t# HAllow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄, {$ i# B1 j. U1 I$ l d5 v
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄
. S1 ?8 Y; T' L, pAllow: .htm$ 僅允許訪問以".htm"為後綴的URL。2 w% p' g; t n$ B+ h4 v3 Q# r4 |( c
Allow: .gif$ 允許抓取網頁和gif格式圖片: }( W( j7 r9 ~# f, a/ ^0 Y
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖( W2 p; }. x$ i2 r7 a
文件用法例1. 禁止所有搜索引擎訪問網站的任何部分
* b( w8 @2 b1 s/ G. B! kUser-agent: *
* w+ e5 s/ A- _& lDisallow: /
$ S) X1 q9 h8 Q$ A% ~實例分析：淘寶網的 Robots.txt文件
& ^ Z S# F7 z; |- r. ~$ eUser-agent: Baiduspider% F* b3 y, v6 f" J9 @, Q
Disallow: /
0 h1 z f6 [6 X6 k+ MUser-agent: baiduspider
; T# L3 @ }- j7 J; @Disallow: /: V) B8 @1 ^: A
-------------------------------------------華麗的分割線-----------------------------------------
; E; Q7 N+ W% O i- d/ d. V- S& c你只要吧你要屏蔽的頁面寫上，就禁止了+ i: V* _# L; Z* ]
; a( \4 O& W+ B
7 T8 I' W6 n! S8 B/ V: y$ j# E% C1 K% x2 s
|
發表於 2013-10-1 16:24:00