非常小黑 發表於 2013-10-1 16:16  / G3 u! V. T" l/ O
比如，我首頁的page頁，還有category，想nofollow，怎麼辦？
) q0 U! ]# ~& z8 `8 anofollow只是針對條連接來定義蜘蛛或機器人跟隨不跟隨這條連接，如果你是要page頁面的話，那你的在網站的根目錄下的robots.txt寫屏蔽頁面的。
3 {6 v, X5 b7 e. R6 ]( w比如：文件寫法User-agent: * 這裡的*代表的所有的搜索引擎種類，*是一個通配符
% Y; C3 S) U, b. xDisallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄# g( H% @0 h9 Y% `; y9 f( f
Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄7 m2 c- O" {4 ]* U$ P
Disallow: /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄0 y8 L0 C5 Y7 B N% a
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為後綴的URL(包含子目錄)。
9 x! ?6 o) k, k) m' Z4 u: mDisallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址, m: A3 v3 o0 t% G" h8 K
Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
5 ~' d& g) h% y6 qDisallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
/ \/ i0 \" u; ~& W* CAllow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄! G/ W7 B' h% A5 \2 n
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄
6 ^7 I% i! @- l3 \; U% YAllow: .htm$ 僅允許訪問以".htm"為後綴的URL。4 u' p/ l" o6 B" G( s. o2 A
Allow: .gif$ 允許抓取網頁和gif格式圖片8 j* j& V0 q1 Q: S0 O0 \& ^% b4 j
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖/ B# f$ [ x& v1 e
文件用法例1. 禁止所有搜索引擎訪問網站的任何部分
: U. W: O0 P, Y6 b$ x1 |- z) RUser-agent: *2 w6 R' f4 L$ |! e3 N$ D& a* f- `
Disallow: /
+ {; \: ^0 R) V) ?1 A4 l# v實例分析：淘寶網的 Robots.txt文件
% S; b0 r# f) V4 wUser-agent: Baiduspider
. P( ?" l) `; H$ iDisallow: /3 C# c$ G. h+ S+ x4 a
User-agent: baiduspider5 ^5 P* o: y4 w# ^ G. C
Disallow: /4 A# I9 y6 Y( S# ?9 q _
-------------------------------------------華麗的分割線-----------------------------------------. j1 j2 t% S' S; j/ F" k6 d/ @1 t
你只要吧你要屏蔽的頁面寫上，就禁止了
1 ?6 Y) Q' E; m; E* f9 A, s+ o7 e: o( }( o6 L5 N# A
! D( Q% M# o0 X- n. e3 k8 S
2 ]- J& O; Y! K N9 Y. N
|
發表於 2013-10-1 16:24:00