什麼是spider？(引擎蜘蛛)
- x% l, I5 B8 Espider是搜索引擎的一個自動程序。它的作用是訪問互聯網上的html網頁，建立
- F$ b+ @9 ]% q+ f) d C! b索引數據庫，使用戶能在搜索引擎中搜索到您網站的網頁。
: G' a7 z1 w6 {6 l7 _: Gspider對一個網站服務器造成的訪問壓力如何？
5 s* K, `/ L6 q2 e( E/ Cspider會自動根據服務器的負載能力調節訪問密度。在連續訪問一段時間後，
! Y" Y+ w6 {+ l# ~5 g1 U6 g- \( tspider會暫停一會，以防止增大服務器的訪問壓力。所以在一般情況下，spider' |) p4 t$ j7 k9 m+ k/ N
對您網站的服務器不會造成過大壓力。8 L6 ]5 l v, C* ^& F- p# o" F
為什麼spider不停的抓取我的網站？
z4 P9 Z* a4 G2 i4 B對於您網站上新產生的或者持續更新的頁面，spider會持續抓取。此外，您也可
" [) X5 m: f W* ]9 Y) g, R以檢查網站訪問日誌中spider的訪問是否正常，以防止有人惡意冒充spider來頻& d, o* b3 g1 _3 Y6 I" V: \8 d
繁抓取您的網站。 如果您發現spider非正常抓取您的網站，請發送反饋郵件到該
& C, }2 X5 ]& R# E搜索引擎，並請盡量給出spider對貴站的訪問日誌，以便於我們跟蹤處理。
) p# R+ B- R; q" U我不想我的網站被spider訪問，我該怎麼做？4 C/ V2 b% I# f2 X
spider遵守互聯網robots協議。您可以利用robots.txt文件完全禁止spider訪問
2 g8 ~, Q7 t. ?您的網站，或者禁止spider訪問您網站上的部分文件。 注意：禁止spider訪問您2 f: p5 L4 R7 p# h b# b
的網站，將使您的網站上的網頁，在搜索引擎以及所有提供搜索引擎服務的搜索( E: E" _4 d4 k2 ?+ t3 ]1 ~
引擎中無法被搜索到。
! N3 t7 n9 r9 q! k0 p# c關於robots.txt的寫作方法，請參看我們的介紹：robots.txt寫作方法
* g; V1 R" O& ?! L* o為什麼我的網站已經加了robots.txt，還能在搜索出來？
7 a1 ?% v8 m0 t因為搜索引擎索引數據庫的更新需要時間。雖然spider已經停止訪問您網站上的6 A, b. p" F9 p1 @# N
網頁，但搜索引擎數據庫中已經建立的網頁索引信息，可能需要二至四周才會清, p9 g3 A6 D/ H; E
除。 另外也請檢查您的robots配置是否正確。
* ~4 g$ ^, T, M4 @+ F% m蜘蛛在robots.txt中的名字是什麼？
% M8 b* z# I; h: M8 Y9 Z' K「spider」全部為小寫字母。% Z$ W( I1 g+ W( X% o/ A0 C- G! P
spider多長時間之後會重新抓取我的網頁？
# C2 t; z) V! G# F8 j搜索引擎每週更新，網頁視重要性有不同的更新率，頻率在幾天至一月之間，: V2 f" t3 s' T" _1 w, u; @
spider會重新訪問和更新一個網頁。 6 o( ^( E! R* K$ M
知道了什麼是SPIDER蜘蛛，那麼怎麼才能知道蜘蛛是否來過你的站？這個可以從
`$ J% K/ r% t9 `: c# l你服務器或者虛擬主機的日誌中看出來，比如我用的站的http://cyz98.com/ 的
8 n% _! z1 b# V) x完整使用日誌中有這樣的記錄：
0 {+ A# s/ W: v: w+ m+ u2 D220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 % q0 |& e3 Q" e. R+ G; @
61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"這就說
% n8 T8 N( k- P M4 v( Q/ K明蜘蛛來過我的站了，如果你還想知道有沒有其它搜索引擎的蜘蛛來過你的站，
q& P( E5 j9 _/ ^) n8 Q0 @& k1 I3 x7 E你可以在日誌文件中搜索「spider」這個詞，或者搜索蜘蛛的IP，我的就查到
$ I$ R. C/ d4 Q4 e! nsogou也來過我的站，IIS日誌與Apache的日誌是一樣的，都可以查到。
6 I O& p0 F6 N& M! ?( T* {7 z: B9 Q下面是整理出來的一些搜索蜘蛛的地址2 v2 T& @+ [! L, q- A1 X1 r( z! |. p
1 202.106.186.* 163蜘蛛
% B' ~- l1 t/ } M5 z! q1 D2 p% T: Q$ b2 202.108.36.* 163蜘蛛
# _) ^ p& s X, l& V2 ^8 u( }6 p3 202.108.44.* 163蜘蛛 $ L6 m$ }* x( D4 X* @) v* h
4 202.108.45.* 163蜘蛛 & }* l! e+ s* F! X
5 202.108.5.* 163蜘蛛 ) w% l1 P+ u7 E& V6 w* _
6 202.108.9.* 163蜘蛛 " m$ P4 k" u1 u4 T0 G" ^
7 220.181.12.* 163蜘蛛 ( p' O! e5 y! ^' i1 c0 B u
8 220.181.13.* 163蜘蛛 2 h6 f# ]9 S% p0 Z3 Y; R
9 220.181.14.* 163蜘蛛 2 a$ W+ u ^" ?# J* ]% Z# V1 _* c
10 220.181.15.* 163蜘蛛
# b4 J6 r5 ~ F( L/ T6 u11 220.181.28.* 163蜘蛛 $ ]4 G; m/ j6 j. O1 X- U
12 220.181.31.* 163蜘蛛 2 R4 t$ A ^" l9 ~
13 222.185.245.* 163蜘蛛
" p" w4 D) l/ T; q' [" Q5 ~14 202.165.100.* 3721蜘蛛
% x% k4 _0 ?9 V/ n( Y220.181.38.177 百度蜘蛛 c* l" v# }" v/ x
15 220.181.19.* 百度蜘蛛
6 J' U6 V" E* q$ N16 159.226.50.* 百度蜘蛛
3 w. m9 g3 X9 ?+ l% ~17 202.108.11.* 百度蜘蛛 * P3 X. x' V# h I( s2 q
18 202.108.22.* 百度蜘蛛 1 O" i/ P8 v* D
19 202.108.23.* 百度蜘蛛 + K: e. [) Z8 i
20 202.108.249.* 百度蜘蛛 3 P; e+ g0 C) T8 Z
21 202.108.250.* 百度蜘蛛 4 Y+ u/ Z" B6 G, B- ]3 d; i
22 61.135.145.* 百度蜘蛛 2 ?# `# T! @& t% [
23 61.135.146.* 百度蜘蛛 : x5 x" [3 u9 ?# F9 V; o9 Z- d
24 64.124.85.* become.com
' L% n8 j5 g7 ^/ _! i25 61.151.243.* china蜘蛛 - V* x5 j' R& ^# P
26 202.165.96.* gais.cs.ccu.edu.tw * v5 L! W3 H" _1 r( L. S
27 216.239.33.* google蜘蛛
) F6 \. M+ _0 F9 Q28 216.239.35.* google蜘蛛
, {4 a6 Z. e6 E8 `4 |29 216.239.37.* google蜘蛛
2 Y2 \: h+ i* v/ x30 216.239.39.* google蜘蛛
3 B- z& j @, J" X% G31 216.239.51.* google蜘蛛 : G$ O8 [8 q* j# G. K1 e
32 216.239.53.* google蜘蛛
4 e7 m, G; `* M; A' s) E5 M- _33 216.239.55.* google蜘蛛
% _ q k4 {# n( p8 \34 216.239.57.* google蜘蛛
6 U- {0 @7 r1 y3 T/ R1 J0 z35 216.239.59.* google蜘蛛
* T4 r2 l- h4 q& O36 64.233.161.* google蜘蛛 , G7 K) u4 h1 `# y2 g, K( L
37 64.233.189.* google蜘蛛
* j5 B1 U% N* |38 66.102.11.* google蜘蛛 8 W( e# G! p) {. v" x9 H
39 66.102.7.* google蜘蛛
" X# t: ^2 I. `) {6 p' A2 K40 66.102.9.* google蜘蛛
4 A Y2 F7 X0 x& W6 a7 |: F41 66.249.64.* google蜘蛛
+ k9 N8 s5 k' S* }1 {. L1 P42 66.249.65.* google蜘蛛 2 _5 F7 a$ E+ G
43 66.249.66.* google蜘蛛
, I+ q% ~/ E; W( q44 66.249.71.* google蜘蛛 $ F5 e/ s& t# }* y8 L7 s' P* h: z6 q
45 66.249.72.* google蜘蛛
" g7 B. |1 v) a: L46 72.14.207.* google蜘蛛 ) S: T6 T3 O" ^0 K4 \ \3 J( i
47 61.135.152.* iask蜘蛛 4 O) t" D5 Z* x) k2 L
48 65.54.188.* msn蜘蛛
: W- L5 R6 V5 B- L49 65.54.225.* msn蜘蛛4 C# h$ |! H2 X4 X6 N2 e k' w! R
50 65.54.226.* msn蜘蛛
+ W* f W5 _6 o. Z D5 D! }( O0 Q& @0 y51 65.54.228.* msn蜘蛛
5 A: E1 i' \. W' C5 a52 65.54.229.* msn蜘蛛
0 w& g* L% ?0 c8 y53 207.46.98.* msn蜘蛛 T9 Y3 e& M: C# c
54 207.68.157.* msn蜘蛛
$ q4 a; j) p% ?55 194.224.199.* noxtrumbot 7 B7 V7 J) Y4 E8 J
56 220.181.8.* Outfox
% T" P) s9 l# J% f* i( B57 221.239.209.* Outfox f' G8 J% V. ~! W: i
58 217.212.224.* psbot ; ]: x. @) v8 ~
59 219.133.40.* QQ蜘蛛 : O& s1 C7 E/ G* }1 R: j
60 202.96.170.* QQ蜘蛛
6 _2 f, p6 F0 C4 |0 o61 202.104.129.* QQ蜘蛛
( j5 j/ S) |$ }5 v" c( Y! s3 ~62 61.135.157.* QQ蜘蛛
- u0 p0 X; l- ?4 U( J63 219.142.118.* sina蜘蛛
7 @* Y, ^6 X2 V( b5 I0 m/ x64 219.142.78.* sina蜘蛛 9 ]5 u/ ]6 b; M2 h1 N; p
65 61.135.132.* sohu蜘蛛
% \: n4 g f% o2 B% J66 220.181.26.* sohu蜘蛛 7 C' W8 B+ \. Y& ^7 j% {
220.181.19.* h1 }* B! l3 M0 V! |! ?
67 61.135.158.* tom蜘蛛 ) D7 V7 K& H# h$ i l0 J7 ~# p
68 66.196.90.* yahoo蜘蛛
; e3 g0 G4 h* `2 `1 k. f2 x" {+ h69 66.196.91.* yahoo蜘蛛
f7 u2 g7 y K) c4 ]5 c70 68.142.249.* yahoo蜘蛛 ^5 ^! m* U( v5 k8 i8 M( ]
71 68.142.250.* yahoo蜘蛛
) m! Q5 [# E9 n/ X72 68.142.251.* yahoo蜘蛛
- h( X. O4 x. T7 W5 [73 202.165.102.* yahoo中國蜘蛛 - N8 y; v+ A w! V, E
74 202.160.178.* yahoo中國蜘蛛 " d/ ]( t% Z1 t* \7 ?9 }
75 202.160.179.* yahoo中國蜘蛛
$ p6 i$ I0 B0 n* Z } l76 202.160.180.* yahoo中國蜘蛛 1 o- k1 i- [( M- P( @# O8 N) w
77 202.160.181.* yahoo中國蜘蛛
0 W( ^: R. N* g5 H2 O, X/ H _4 M78 202.160.183.* yahoo中國蜘蛛 / Q! q9 J7 E; g( x$ b j1 p; A
79 72.30.101.* yahoo蜘蛛 " @) {! e% y* }
80 72.30.102.* yahoo蜘蛛
5 X1 e7 }5 {( e( K81 72.30.103.* yahoo蜘蛛 $ ?& O: W& }1 I/ D3 F* n5 B8 ]
82 72.30.104.* yahoo蜘蛛
: n5 r! K/ c( \2 P, w! Z83 72.30.107.* yahoo蜘蛛 & V6 m' M; {: z- E1 `; E( E
84 72.30.110.* yahoo蜘蛛
1 W& V4 T# h" ]3 _! \+ V85 72.30.111.* yahoo蜘蛛
; Z, d- N' O" e6 H- X# v6 Y86 72.30.128.* yahoo蜘蛛 2 I' h7 [7 O4 l; B. X$ q i( @
87 72.30.129.* yahoo蜘蛛
5 ?; B# W" o* [) c7 r/ T88 72.30.131.* yahoo蜘蛛 ; g% @' O+ W# C/ m" c+ g* f
89 72.30.133.* yahoo蜘蛛
9 }' W* ? B" J* ?$ B90 72.30.134.* yahoo蜘蛛
# t' |' F7 d6 B6 |' I8 W( N% I91 72.30.135.* yahoo蜘蛛 # g1 r+ i3 y' X
92 72.30.216.* yahoo蜘蛛
* q* p# c# m, P6 ^! W93 72.30.226.* yahoo蜘蛛 8 m7 N1 F" @/ a6 {% {( C
94 72.30.252.* yahoo蜘蛛 7 ~8 n' I" F4 V. m* K' g1 q
95 72.30.97.* yahoo蜘蛛 * y6 l \0 h0 V& ]8 Q/ I4 Q3 ^* ?& Q
96 72.30.98.* yahoo蜘蛛
0 r) A1 R/ z- M6 e97 72.30.99.* yahoo蜘蛛 8 u3 @2 {6 m- U+ z5 A
98 74.6.74.* yahoo蜘蛛7 B/ v5 j5 h5 W
99 202.108.4.* 中搜蜘蛛# }9 Q: x0 k6 n2 I8 s3 J
100 202.108.4.* 中搜蜘蛛 + P3 _1 w0 f/ K3 o H7 I( }: L
101 202.108.33.* 中搜蜘蛛
- N/ n( W* p- ~! y @! o% c# b102 202.96.51.* 中搜蜘蛛
/ x" W8 i) f9 @! t2 w103 219.142.53.* 中搜蜘蛛 |
|
發表於 2009-4-28 13:47:41
提升卡
沉默卡
变色卡