1. 什麼是baiduspider? 6 |9 k% [ w7 T' u; l! \3 z# {
baiduspider是Baidu搜索引擎的一個自動程序。它的作用是訪問互聯網上的html網頁,建立索引數據庫,使用戶能在Baidu搜索引擎中搜索到貴網站的網頁。 # }; b; r- P/ {$ B
8 G+ d; |9 p4 { j2. baiduspider為什麼大量訪問我的網頁? / _" U$ a% I* A: p; F, O; @0 e+ O1 [
baiduspider訪問您的網頁後,會自動分析每個網頁上的文字內容並記憶網頁網址,然後其它網友才能通過百度搜索引擎找到您的網頁。如果baiduspider不訪問您的網頁,那麼所有通過baiduspider提供網頁信息的搜索引擎都找不到您的網頁,也就是說,其它網友在百度搜狐新浪雅虎Tom等幾十個搜索網站都會找不到您的網頁。
. ]6 {* L% U, Y6 T, ]$ Y4 q* I您可以到這裡進一步瞭解搜索引擎6 x- }5 G7 Q3 a# P5 t8 ?5 ]" z, Q
% w8 V, K) a0 f- u
3. baiduspider對一個網站服務器造成的訪問壓力如何?
: n6 V4 p! `1 X# e/ b! A {% V6 Z, I0 T/ N4 G" h
對於一個網站,baiduspider每訪問一個網頁會間隔30秒,不會造成過大壓力。+ w( L! n+ s3 Z5 b
; L2 H) a6 O; ?/ h% b6 I4. 我不想我的網站被baiduspider訪問,我該怎麼做?$ b) N8 g) T: P/ A
) L* J! T+ u) S0 }8 Lbaiduspider像其它spider一樣遵守互聯網robots協議。您可以利用robots.txt文件完全禁止baiduspider訪問您的網站,或者禁止baiduspider訪問您網站上的部分文件。
# f( r0 b: X9 Q1 ^ [+ w$ W% [& _; r- l! N( f" p. ]
注意:禁止baiduspider訪問您的網站,將使您的網站上的所有網頁,在Baidu搜索引擎以及所有Baidu提供搜索引擎服務的搜索引擎中無法被搜索到,包括搜狐、新浪、雅虎、Tom、Lycos等幾十個搜索引擎。, r" ?0 H. v3 q0 D
: s7 M [- w! W' W% ]& Z關於robots.txt的寫作方法,請參看我們的介紹:robots.txt寫作方法
) m$ k! J( l9 o0 u: K
3 T4 r+ W: [& `8 L& G% D5 O5. 為什麼我的網站已經加了robots.txt,還能在百度搜索出來?& q* F7 C' R' I, g* ]& L
( I0 s& g$ O. ?4 ^% v) i因為搜索引擎索引數據庫的更新需要時間。雖然baiduspider已經停止訪問您網站上的網頁,但Baidu搜索引擎數據庫中已經建立的網頁索引信息,可能需要2到4周才會清除。$ x( {8 c. \, x+ X- `$ {
& ?0 w( s) w8 `9 o9 |- a6. baiduspider多長時間之後會重新抓取我的網頁?
- N- f) ~# ]7 r# K; B, y* @! r* J8 ?
Baidu搜索引擎平均兩周更新一次,網頁視重要性有不同的更新率,少則幾天,多則1月,baiduspider會重新訪問和更新一個網頁。8 t5 I9 M5 i& E6 F
5 i6 J& j/ N m) t# u7. baidu蜘蛛在robots.txt中的名字是什麼?/ J/ o% A$ e* e) b) q e
8 X9 D8 P8 h. K! q: {" s$ u, Q
baiduspider,全部為小寫字母。完全禁止baiduspider訪問的robots文件內容為:9 E" H' x5 Q+ O& M# h
g- X x; O- P+ R) z
$ h2 p! o# M# E
User-agent: baiduspider
. d& R* r% A6 e- bDisallow: / |
|