什麼是spider？(引擎蜘蛛). ]2 E5 {% s6 W/ ]
spider是搜索引擎的一個自動程序。它的作用是訪問互聯網上的html網頁，建立
6 q; Y; @+ e, I2 ]* i6 G% u索引數據庫，使用戶能在搜索引擎中搜索到您網站的網頁。, t$ ^7 h2 q4 o0 u
spider對一個網站服務器造成的訪問壓力如何？% l' Q$ J+ O/ [5 K) F0 [. B" \
spider會自動根據服務器的負載能力調節訪問密度。在連續訪問一段時間後，7 ]& g9 P$ ~% m: E# N6 T% L
spider會暫停一會，以防止增大服務器的訪問壓力。所以在一般情況下，spider
& `( X1 y: B7 t& P5 O8 d對您網站的服務器不會造成過大壓力。
! Z1 x) l, Z+ [9 T+ ?; C( \為什麼spider不停的抓取我的網站？
; z! L3 s! q* l) Y' v! R2 |對於您網站上新產生的或者持續更新的頁面，spider會持續抓取。此外，您也可
( \4 ?$ m! H9 q. r; Q$ I2 w以檢查網站訪問日誌中spider的訪問是否正常，以防止有人惡意冒充spider來頻1 y& E4 ?+ }% X: z4 E* i3 p
繁抓取您的網站。 如果您發現spider非正常抓取您的網站，請發送反饋郵件到該
! k- o+ @; ]5 A8 m# b! `搜索引擎，並請盡量給出spider對貴站的訪問日誌，以便於我們跟蹤處理。1 F2 F- S& P i% W
我不想我的網站被spider訪問，我該怎麼做？+ y# U6 v2 t/ e" P
spider遵守互聯網robots協議。您可以利用robots.txt文件完全禁止spider訪問
# q- f% t @# w' i, J您的網站，或者禁止spider訪問您網站上的部分文件。 注意：禁止spider訪問您
* E4 E0 i: i) w- | I的網站，將使您的網站上的網頁，在搜索引擎以及所有提供搜索引擎服務的搜索
) r; p# r( X2 t4 G) A% T( [引擎中無法被搜索到。2 Z6 D% G1 n+ e% K! E# f ~
關於robots.txt的寫作方法，請參看我們的介紹：robots.txt寫作方法
7 p2 U- V q5 f& g8 t為什麼我的網站已經加了robots.txt，還能在搜索出來？0 r4 p: y& p, x+ a
因為搜索引擎索引數據庫的更新需要時間。雖然spider已經停止訪問您網站上的) }7 Z/ b* m4 H5 g6 G0 t
網頁，但搜索引擎數據庫中已經建立的網頁索引信息，可能需要二至四周才會清4 J5 y; u1 ]5 x; t* m5 a
除。 另外也請檢查您的robots配置是否正確。
; s; T' J# @" q7 u; [蜘蛛在robots.txt中的名字是什麼？
1 r: l" I4 ?" ~4 J「spider」全部為小寫字母。
( p2 k4 |" J% Q. B7 U9 I& Wspider多長時間之後會重新抓取我的網頁？2 G/ R' C x* E; j2 c; J8 d0 u: [
搜索引擎每週更新，網頁視重要性有不同的更新率，頻率在幾天至一月之間，
. P4 _* _+ N1 R8 ]# qspider會重新訪問和更新一個網頁。 + p+ |( _7 h- {3 K& W8 J# [) x
知道了什麼是SPIDER蜘蛛，那麼怎麼才能知道蜘蛛是否來過你的站？這個可以從
. o; x9 A* g( ]0 c3 t M你服務器或者虛擬主機的日誌中看出來，比如我用的站的http://cyz98.com/ 的0 D! z8 `5 e7 m* l3 e: P
完整使用日誌中有這樣的記錄：
4 C6 P, l. _3 ~7 u220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 5 @6 w1 X) Q6 J9 p
61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"這就說+ V( w" R! R F& U
明蜘蛛來過我的站了，如果你還想知道有沒有其它搜索引擎的蜘蛛來過你的站，5 R% t8 S6 y' ]/ y3 m8 E* Z/ Y
你可以在日誌文件中搜索「spider」這個詞，或者搜索蜘蛛的IP，我的就查到
P* n: ]3 {# V+ ~0 }sogou也來過我的站，IIS日誌與Apache的日誌是一樣的，都可以查到。
: S9 o& q& A6 h, p! r. {5 Q. k下面是整理出來的一些搜索蜘蛛的地址
; x' t m( H* F- n. w' O9 e1 202.106.186.* 163蜘蛛 ) I7 j) s6 s' q" D8 o; f3 w
2 202.108.36.* 163蜘蛛
6 U, u$ R' |" T" l, g; |# Z3 202.108.44.* 163蜘蛛
% {2 i4 G6 u! l$ A1 r, r0 N4 202.108.45.* 163蜘蛛
6 M, r' R7 V* u/ ]' l5 U% S7 X6 @5 202.108.5.* 163蜘蛛 , b1 l/ Y9 ~+ m. I0 k- r
6 202.108.9.* 163蜘蛛 # a: W8 c6 G; X$ U% [5 u2 U
7 220.181.12.* 163蜘蛛 + \; p5 T1 u+ Q9 [
8 220.181.13.* 163蜘蛛 % E* @7 v, r3 O
9 220.181.14.* 163蜘蛛 4 l4 m! ]8 }, ^- ~0 Q5 T. A8 [
10 220.181.15.* 163蜘蛛 0 Q1 Z- W/ ?; e# ]3 m( A
11 220.181.28.* 163蜘蛛
' h2 x2 g5 C# k' T12 220.181.31.* 163蜘蛛
$ U: N3 N- Z, _5 Z2 t4 a# D2 d13 222.185.245.* 163蜘蛛
+ t# _# \+ Y: O& D# l0 {5 O2 k, k& v14 202.165.100.* 3721蜘蛛 , T6 n+ |0 Y6 m) u' m
220.181.38.177 百度蜘蛛 ! U5 K4 P. D. D/ u, r/ d, H
15 220.181.19.* 百度蜘蛛
) u7 M: n1 ~ C8 |, J( ?16 159.226.50.* 百度蜘蛛
; W8 ]! S+ y6 O$ A4 U4 w5 E" n! n7 W+ O! G17 202.108.11.* 百度蜘蛛
$ g# b* N8 i7 M" O# k6 `18 202.108.22.* 百度蜘蛛
! Q$ N4 g$ g( l& k; n9 a19 202.108.23.* 百度蜘蛛 3 H- B1 i' A) L, M9 @1 N: [2 G
20 202.108.249.* 百度蜘蛛
& T/ k! h& a5 p+ W+ I21 202.108.250.* 百度蜘蛛 ; Q; q3 V+ D% M6 _
22 61.135.145.* 百度蜘蛛
" X w9 x- j6 y, _* a7 e& B) t8 l4 @23 61.135.146.* 百度蜘蛛 1 v6 n2 a7 [+ K
24 64.124.85.* become.com
. T# s; r+ D+ N- W* S- H/ y25 61.151.243.* china蜘蛛 7 a2 i. u5 x2 p3 Q
26 202.165.96.* gais.cs.ccu.edu.tw + E5 |/ @, a; E" A3 h v
27 216.239.33.* google蜘蛛
u ?+ E; D2 U" x) P* i! B28 216.239.35.* google蜘蛛 % n2 L6 E9 V O2 W
29 216.239.37.* google蜘蛛 . j; C7 `$ P$ q2 B5 w' w
30 216.239.39.* google蜘蛛 $ `. m- Y W. U& Q+ \
31 216.239.51.* google蜘蛛 . b5 a- B8 W& S0 b
32 216.239.53.* google蜘蛛
8 J- r# E! F% Q5 o/ @3 V4 c& d; x33 216.239.55.* google蜘蛛
+ D* w Y7 O% k: J# v8 F: }' \34 216.239.57.* google蜘蛛 9 g! ^( V0 U2 t) T' l# }; u
35 216.239.59.* google蜘蛛 0 |3 ?. c/ P2 w W0 [: m
36 64.233.161.* google蜘蛛 ) g0 z" a3 i/ r: G; K9 O# O
37 64.233.189.* google蜘蛛
) N. g) k) E% D9 P2 x# Q38 66.102.11.* google蜘蛛
3 a# ~. m& G. T0 D& m. A39 66.102.7.* google蜘蛛 2 u" \' t& t1 @* r; J! B. V
40 66.102.9.* google蜘蛛
8 `# o1 X _' M7 p% j- Q( e, f) F41 66.249.64.* google蜘蛛
; k9 J% b) ]; V42 66.249.65.* google蜘蛛 7 b) S4 r5 O$ f& o- v
43 66.249.66.* google蜘蛛 0 o( W) k; q! c3 p
44 66.249.71.* google蜘蛛
# R+ e* X3 t4 y! f8 D# g; \! |2 ^45 66.249.72.* google蜘蛛 : K; e6 f3 h6 R7 K; w f
46 72.14.207.* google蜘蛛
; N1 `, E7 p3 O3 H/ Y, _. W" e47 61.135.152.* iask蜘蛛 + D$ M( D& c& _5 ]+ @0 b
48 65.54.188.* msn蜘蛛 8 S: a: E% G/ u+ D. @
49 65.54.225.* msn蜘蛛
/ K" D! _ R- W' {1 ^50 65.54.226.* msn蜘蛛 ' h& }* I- ?/ Z# u/ N
51 65.54.228.* msn蜘蛛
( B% c$ j# e7 x1 _52 65.54.229.* msn蜘蛛
3 m. }3 m9 r0 n$ N4 q53 207.46.98.* msn蜘蛛 ( L4 l# H# d; v
54 207.68.157.* msn蜘蛛 7 U+ P+ L8 w! q, x
55 194.224.199.* noxtrumbot . X8 _0 I! s2 V1 E* _, |
56 220.181.8.* Outfox
8 W0 f, b& p" C5 n( q- ]57 221.239.209.* Outfox
9 N. A; j, ]$ p3 a- \58 217.212.224.* psbot 8 m, _, `! }- K4 A& v' L& v# w7 L
59 219.133.40.* QQ蜘蛛 / \ I( Z4 _5 }- r3 M
60 202.96.170.* QQ蜘蛛
% N$ x) M# Q; p) s! {$ X61 202.104.129.* QQ蜘蛛 . o# v' Q) ?( K0 n/ R) Q! f& U
62 61.135.157.* QQ蜘蛛 & x* a B: p3 m% ^; T F$ @1 Z
63 219.142.118.* sina蜘蛛
# R2 S0 U9 e) V0 q2 s7 {* l4 g64 219.142.78.* sina蜘蛛
: ^! o' ~/ M/ m, F65 61.135.132.* sohu蜘蛛 / V7 K. e# \5 ~1 Q3 O
66 220.181.26.* sohu蜘蛛 9 U/ z. o+ x. Z$ X' ^8 X N
220.181.19.*; p Y0 e3 M9 p3 ]8 o0 ?/ d, r
67 61.135.158.* tom蜘蛛
0 \0 E3 r6 V7 y& }# x68 66.196.90.* yahoo蜘蛛 ' w$ ?1 T4 m2 O5 [
69 66.196.91.* yahoo蜘蛛
/ k) a7 `( n' `+ \- n- i70 68.142.249.* yahoo蜘蛛 ) M4 U- E r# ~- C2 D v
71 68.142.250.* yahoo蜘蛛 + ^# |! O/ W7 z5 t* T4 S& r0 D
72 68.142.251.* yahoo蜘蛛 , ^9 E W# H. l: L' m
73 202.165.102.* yahoo中國蜘蛛
+ Y. Y" D% t: r0 y3 Y/ o8 s74 202.160.178.* yahoo中國蜘蛛
' A( A+ m7 l ?- R75 202.160.179.* yahoo中國蜘蛛 - Y$ H( G; L r+ e% U$ s; `
76 202.160.180.* yahoo中國蜘蛛
7 d w! l* b$ j! i77 202.160.181.* yahoo中國蜘蛛
+ N) a+ z& Y8 w" W78 202.160.183.* yahoo中國蜘蛛
+ ~2 S' H8 ~! z79 72.30.101.* yahoo蜘蛛 : k9 v: X. ^$ O8 D
80 72.30.102.* yahoo蜘蛛 2 {1 D2 Q' ^! u- G% q- F
81 72.30.103.* yahoo蜘蛛 1 E4 w) K+ _, @' h' u& Z5 j3 A6 C
82 72.30.104.* yahoo蜘蛛
G# N$ H- z# |5 C0 d. |83 72.30.107.* yahoo蜘蛛
- K+ S6 \1 A4 m; u9 a8 ^ j84 72.30.110.* yahoo蜘蛛
$ Y3 U- S3 _4 N. c/ H$ N85 72.30.111.* yahoo蜘蛛
) T2 g& m! G4 z4 e# ~86 72.30.128.* yahoo蜘蛛 7 m; { o6 C4 K" r% g5 ^, I2 {, a
87 72.30.129.* yahoo蜘蛛 / _8 T( k- C% S3 E6 s1 f3 @
88 72.30.131.* yahoo蜘蛛 ; O! c; k1 ?6 J& F
89 72.30.133.* yahoo蜘蛛
- g5 H9 [5 Z0 o/ @90 72.30.134.* yahoo蜘蛛 & @* _; p {/ O
91 72.30.135.* yahoo蜘蛛 " E3 o6 \" k9 u7 t4 `
92 72.30.216.* yahoo蜘蛛
7 W& F- b @. @5 M# q93 72.30.226.* yahoo蜘蛛
0 s" B" x6 v$ J/ M# ^ n6 q94 72.30.252.* yahoo蜘蛛 " S1 d! s. k8 ]2 O* N7 ?' j$ T
95 72.30.97.* yahoo蜘蛛 4 D8 m& l9 o% ] J4 x
96 72.30.98.* yahoo蜘蛛
: @, U9 u' L3 y& w97 72.30.99.* yahoo蜘蛛 ; ^) b. C9 h5 p/ s% B+ V' o
98 74.6.74.* yahoo蜘蛛, i3 m, A. t( s
99 202.108.4.* 中搜蜘蛛
6 M" `3 J2 X6 t9 f100 202.108.4.* 中搜蜘蛛 0 w4 E- F; j8 k" C7 Y/ ~
101 202.108.33.* 中搜蜘蛛 % s$ ^% M) X/ R( p
102 202.96.51.* 中搜蜘蛛 ) L6 x+ v# T3 |
103 219.142.53.* 中搜蜘蛛 |
|
發表於 2009-4-28 13:47:41
提升卡
沉默卡
变色卡