非常小黑 發表於 2013-10-1 16:16  ! h2 m5 @& X) d. [" z! T8 a
比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
nofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。* `4 M0 r9 V: q: v) x* d0 `2 W
比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符% b: g5 _6 ^1 z
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄# u( ]" X/ n5 Y; N
Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
, e% f3 Q8 k' e& uDisallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄: K0 o6 N" }! f( j
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。
7 \5 A% G& f$ K4 f4 }, ^" f+ IDisallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
# y3 [& ?) g0 x2 ^/ d" L* vDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
! j/ r" Q0 o' Z) S& ~& Y; ~4 aDisallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。; K, [) r2 v f% ~/ R2 R! ~
Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄1 \3 x5 q2 F! ~) A* G, z
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄- M5 r& F4 g5 S' z4 h
Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。
5 _5 z; ?/ e/ o- U J7 IAllow: .gif$ 允許抓取網頁和gif格式圖片
4 Q! Q3 y2 d, Q- R* E& u5 Y' C$ W5 ^Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
! L# r' V. ]% W6 N文件用法例1. 禁止所有搜索引擎訪問網站的任何部分' b+ k' ~" O$ J; r/ r' J, C
User-agent: *
; g. z3 X) @: I1 D9 T# }, J7 H% ]Disallow: /
) X Z0 w7 `/ f4 K, {5 ~實例分析：淘寶網的 Robots.txt文件
* v) b2 _( i* U& C( UUser-agent: Baiduspider/ w: k# [0 D0 ]; o9 @% J) x) \! u6 Z# v
Disallow: /0 W g4 E4 N; I2 n$ Y3 s
User-agent: baiduspider
9 H# E: m2 `% PDisallow: /
9 k" A% a9 a' @8 M3 S' i# `+ l& P-------------------------------------------華麗的分割線-----------------------------------------
$ g; q, I( f& }你只要吧你要屏蔽的頁面寫上，就禁止了
& ^4 I( X* A! d, {- C( o
6 q/ }/ F/ r0 E( k" K
2 h$ `9 m' g1 b& w1 F
* G. i5 C3 Q9 z8 l6 i |
發表於 2013-10-1 16:24:00