非常小黑 發表於 2013-10-1 16:16 
& t0 o! k Z2 Q( a7 ^) Q% j8 [! b9 N比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
& ?% s4 Y2 L( X4 D0 a* L. @* |nofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。3 e5 m7 J, J: A% {& E$ ~
比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符
# A6 T# A+ h4 C8 w1 X" E* m PDisallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄
3 r1 U" x# g3 k1 v& y/ U- _Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
9 T: l! K5 }$ q% G; u$ y" b# _; p, wDisallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄
& E& @2 b0 f& J! y, }$ P9 [Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。
: e: F8 l7 l3 M0 [Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
9 c( S {" d t% d( VDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
6 p# Z5 |% S. v/ [6 zDisallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
( _$ n: x- j7 r: D6 J" c5 X2 vAllow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄' E* i8 ]$ m& Y, h+ X
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄
& ?7 \& D- @, `Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。
: `8 ~7 O D- g$ I; {4 S$ {) pAllow: .gif$ 允許抓取網頁和gif格式圖片
$ d" ?+ ^) ^- ?* n" m: O# xSitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
/ T. ^0 k1 }" ~/ e文件用法例1. 禁止所有搜索引擎訪問網站的任何部分
' R. G0 ^: s: X" V1 RUser-agent: *
- V% Z1 f! b$ v, x" sDisallow: /
. Y0 T9 R% X& [實例分析：淘寶網的 Robots.txt文件
7 R! u. c0 e W5 H$ mUser-agent: Baiduspider5 a/ `0 P3 |! D
Disallow: /' M R* C/ ]: ]6 _9 a( F% | t
User-agent: baiduspider; L; h4 W; |/ ~, g4 \; A
Disallow: /
4 |% ^( u* K: ~! W, L8 f4 G) l U-------------------------------------------華麗的分割線-----------------------------------------
$ L. D: q8 s8 r$ Q5 W0 {0 C5 I你只要吧你要屏蔽的頁面寫上，就禁止了0 v# a! L* f! m$ D) Q+ A
% g3 g: y& [( c9 P G9 c; ?; n& s) H9 H V9 o/ Q
; i) v0 z: N, U5 m* F2 a |
發表於 2013-10-1 16:24:00