非常小黑 發表於 2013-10-1 16:16 
7 }6 k) X3 M+ {- x9 W, e4 p比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
8 C4 n2 R1 L. g7 X Jnofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。
* q" P! U$ D* J0 u/ j+ p* _( n比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符
, p. A9 J& Z" X0 ~; tDisallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄
% Z( H* L9 M0 p9 K5 BDisallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
; u* Z, r. R, EDisallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄, M0 T$ j4 v! g9 H
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。7 m# y) K; a: j. ^* u
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
* D5 T1 t7 ~- l8 H7 b# o# n2 M7 f* `Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
t# Q) p& O: Z! x- ?' V* _Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
8 ~- [& y' L5 j5 g3 \Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄
- {9 d" a( ^/ T6 Q/ B2 E6 P' JAllow: /tmp 這裡定義是允許爬尋tmp的整個目錄. k1 Y& X9 d9 {4 W1 z* _
Allow: .htm$ 僅允許訪問以".htm"為後綴的URL。
' B0 ^# I" o, X/ V$ T* uAllow: .gif$ 允許抓取網頁和gif格式圖片
( R. Q/ T+ ?5 M8 V! K4 aSitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
9 o0 H, ^2 ?! R' j文件用法例1. 禁止所有搜索引擎訪問網站的任何部分
- @- r" Q; z! Z3 qUser-agent: *
2 k) u4 `7 J% e/ @/ h* x* bDisallow: /8 v. D' g6 z# t; N
實例分析：淘寶網的 Robots.txt文件' I9 Y( |0 k$ l
User-agent: Baiduspider/ k' b& I& S0 X
Disallow: /
& t, N8 r/ a! MUser-agent: baiduspider, z! R# b5 r% `7 ?+ s) T
Disallow: /: p0 }; [+ p; b/ o7 k
-------------------------------------------華麗的分割線-----------------------------------------3 p0 `5 X4 J7 v5 Q
你只要吧你要屏蔽的頁面寫上，就禁止了
% c% a8 L+ n& Q1 t' G1 I6 T& v4 b: K9 ~0 U4 x" u3 o/ i
! f, u c, k" `! |4 j% P
$ F6 {8 m" k. N4 j1 k( x |
發表於 2013-10-1 16:24:00