非常小黑 發表於 2013-10-1 16:16  ( X" @, }: c% h
比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
5 p, X) M, K* e4 I0 f P: e9 Pnofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。/ Z8 I) X* T- O- }* U0 A& y) S! f
比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符1 r& e D) q7 g' `! H9 b
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄
2 I }" H3 K( ^$ {* N* ^Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄/ q+ u, ?8 X. Z6 y/ l) r
Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄
0 \6 K! x/ w- x1 Y8 t8 @3 UDisallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。5 s1 q2 G" H; J9 J
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
7 [' t/ G' X; PDisallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
. K! b! z$ _2 u/ v$ \Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。- r9 p: P8 a. M: A5 c3 f/ ^
Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄
$ [7 \" o& V* jAllow: /tmp 這裡定義是允許爬尋tmp的整個目錄
5 G* e7 S) o1 y# ^6 }; A$ VAllow: .htm$ 僅允許訪問以".htm"為後綴的URL。
( S$ Q3 l# ~7 M: Z" lAllow: .gif$ 允許抓取網頁和gif格式圖片5 Q1 Q9 F' J: y5 e" A) c5 a
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
$ u. x$ v7 J# ~9 p文件用法例1. 禁止所有搜索引擎訪問網站的任何部分+ c* d2 A+ c( p% a
User-agent: *
" K& Q1 n4 _( d% K* q" I! ADisallow: /
7 _8 v- K: H0 Z: R. ^. s" z實例分析：淘寶網的 Robots.txt文件
+ a2 j ]8 X/ l2 xUser-agent: Baiduspider4 w6 X! D( m9 G. J
Disallow: /
% [" a' J3 l6 ?1 a/ C1 IUser-agent: baiduspider
+ S! n6 b; E, s- @7 SDisallow: /
! o( v) g0 l' }0 b( j; K-------------------------------------------華麗的分割線-----------------------------------------4 H/ u) F% Y' l& W' s
你只要吧你要屏蔽的頁面寫上，就禁止了# n1 R) j4 i9 B: `2 z/ t
7 }9 s! ~9 N+ C0 a
! ^- Y3 A: X( N) u
0 q& W3 V. v. k
|
發表於 2013-10-1 16:24:00