过期域名预定抢注

 找回密碼
 免费注册

baiduSpider常見問題解答

[複製鏈接]
發表於 2005-2-11 18:01:05 | 顯示全部樓層 |閱讀模式
1. 什麼是baiduspider?
2 \4 k7 |! v& R. x( F8 F* L$ xbaiduspider是Baidu搜索引擎的一個自動程序。它的作用是訪問互聯網上的html網頁,建立索引數據庫,使用戶能在Baidu搜索引擎中搜索到貴網站的網頁。 
) t4 v: p  L$ ?& k8 w/ @9 L# U
! x; K4 @/ c- f6 h4 G  ]2. baiduspider為什麼大量訪問我的網頁?
! F4 K: ~; s: E9 ^9 Wbaiduspider訪問您的網頁後,會自動分析每個網頁上的文字內容並記憶網頁網址,然後其它網友才能通過百度搜索引擎找到您的網頁。如果baiduspider不訪問您的網頁,那麼所有通過baiduspider提供網頁信息的搜索引擎都找不到您的網頁,也就是說,其它網友在百度搜狐新浪雅虎Tom等幾十個搜索網站都會找不到您的網頁。 / [* U  O5 {9 U  L* N5 D1 j, b
您可以到這裡進一步瞭解搜索引擎
: }& [: s/ t  b
# z$ `) w  t! k  [! d3. baiduspider對一個網站服務器造成的訪問壓力如何?
/ C/ B; ^9 g( }, {* y
+ ]* d7 h& q" X對於一個網站,baiduspider每訪問一個網頁會間隔30秒,不會造成過大壓力。
; R* O/ H# ]" L3 \1 H
) D8 V0 A9 X3 w9 r1 ]9 N7 r4. 我不想我的網站被baiduspider訪問,我該怎麼做?
( ^2 m' i+ }* A4 m9 k" D3 s3 Y
" m0 J$ U0 S; x. t, B' i1 E. [baiduspider像其它spider一樣遵守互聯網robots協議。您可以利用robots.txt文件完全禁止baiduspider訪問您的網站,或者禁止baiduspider訪問您網站上的部分文件。
+ C( W2 p0 N) y# P  [
8 m* m. i8 M2 c注意:禁止baiduspider訪問您的網站,將使您的網站上的所有網頁,在Baidu搜索引擎以及所有Baidu提供搜索引擎服務的搜索引擎中無法被搜索到,包括搜狐、新浪、雅虎、Tom、Lycos等幾十個搜索引擎。, k! b  j7 s, O# k: A( K1 h
- z3 w: {" `. y: k$ L
關於robots.txt的寫作方法,請參看我們的介紹:robots.txt寫作方法
( J2 U! X& N1 I0 J4 q+ b
- G- X- Y* F- U  J  y5. 為什麼我的網站已經加了robots.txt,還能在百度搜索出來?& q) E; u* W+ x) q6 o

) @0 p& B- S) ]- k9 E. P因為搜索引擎索引數據庫的更新需要時間。雖然baiduspider已經停止訪問您網站上的網頁,但Baidu搜索引擎數據庫中已經建立的網頁索引信息,可能需要2到4周才會清除。" Y. k! X) a. e3 w/ j; o

0 }5 N% }0 p$ ]7 m6. baiduspider多長時間之後會重新抓取我的網頁?% e" G4 M1 q) n" ~* h8 O4 c

( @/ F+ g% E, h7 R3 yBaidu搜索引擎平均兩周更新一次,網頁視重要性有不同的更新率,少則幾天,多則1月,baiduspider會重新訪問和更新一個網頁。
" W: c2 c/ n) ^$ k% M5 c1 t0 o* Z7 S6 g) x2 p: {/ e/ B
7. baidu蜘蛛在robots.txt中的名字是什麼?
/ Y  u: R1 ^; f' F) E+ H
9 Z; J/ a& n6 u- d! w* [, V: ?baiduspider,全部為小寫字母。完全禁止baiduspider訪問的robots文件內容為:
' s- b* ]/ m  e: u0 `3 S  b2 N3 F4 l
2 X6 _* W! ^. l
; V3 J7 K! k* |' EUser-agent: baiduspider- @8 m  y3 N9 ~& G6 i
Disallow: /
發表於 2005-3-12 17:14:12 | 顯示全部樓層
提示: 作者被禁止或刪除 內容自動屏蔽
回復 给力 爆菊

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 免费注册

本版積分規則

过期高净值品牌域名预定抢注

4um點基跨境網編創業社區

GMT+8, 2024-10-30 17:19

By DZ X3.5

小黑屋

快速回復 返回頂部 返回列表