什麼是spider？(引擎蜘蛛)
7 w3 U. U! S. ^( L0 Tspider是搜索引擎的一個自動程序。它的作用是訪問互聯網上的html網頁，建立9 F0 @- f1 X' z2 n
索引數據庫，使用戶能在搜索引擎中搜索到您網站的網頁。8 _& W3 D0 R. U
spider對一個網站服務器造成的訪問壓力如何？: ^1 W3 y* e: \, G! {
spider會自動根據服務器的負載能力調節訪問密度。在連續訪問一段時間後，
4 Z- t& I1 V* u+ W& l" |spider會暫停一會，以防止增大服務器的訪問壓力。所以在一般情況下，spider) \0 g ~6 |. X4 }
對您網站的服務器不會造成過大壓力。
4 I6 R0 e' A5 t為什麼spider不停的抓取我的網站？: ^5 U$ z# _$ r6 u, m7 @( D4 q" h
對於您網站上新產生的或者持續更新的頁面，spider會持續抓取。此外，您也可
' e' O/ @% V* u8 w& `& [& u以檢查網站訪問日誌中spider的訪問是否正常，以防止有人惡意冒充spider來頻
; |, q) f+ k- B) t+ D& r) O: Z# Z" h繁抓取您的網站。 如果您發現spider非正常抓取您的網站，請發送反饋郵件到該
" k: W s& q5 O+ x* k* N: a! L0 u搜索引擎，並請盡量給出spider對貴站的訪問日誌，以便於我們跟蹤處理。
" l- |( m4 d/ x1 h, c( V我不想我的網站被spider訪問，我該怎麼做？
m& ]( o. c# g, q1 s. Z7 P. _spider遵守互聯網robots協議。您可以利用robots.txt文件完全禁止spider訪問( t) ^- @/ \; L1 n/ y
您的網站，或者禁止spider訪問您網站上的部分文件。 注意：禁止spider訪問您: ?, o8 V- ~ U3 D% X
的網站，將使您的網站上的網頁，在搜索引擎以及所有提供搜索引擎服務的搜索, W- @+ W0 ] r4 k
引擎中無法被搜索到。
6 d# Q, _6 P1 d- W關於robots.txt的寫作方法，請參看我們的介紹：robots.txt寫作方法6 u7 m. k, [, d6 h1 D" [. L
為什麼我的網站已經加了robots.txt，還能在搜索出來？0 z) k# f# V+ c
因為搜索引擎索引數據庫的更新需要時間。雖然spider已經停止訪問您網站上的
! r0 W* @. A3 q |# ^4 ?網頁，但搜索引擎數據庫中已經建立的網頁索引信息，可能需要二至四周才會清
' i" n& y" T/ H* Q9 k除。 另外也請檢查您的robots配置是否正確。: Y$ ]5 U. z8 I L
蜘蛛在robots.txt中的名字是什麼？
! S0 a3 M" d* f! d+ z「spider」全部為小寫字母。
" J4 ^6 E3 o; X# E7 O# y* kspider多長時間之後會重新抓取我的網頁？4 m( Y6 h# j4 N, d" a6 r& w- C
搜索引擎每週更新，網頁視重要性有不同的更新率，頻率在幾天至一月之間，$ ]/ ?- M+ H& `, G1 \
spider會重新訪問和更新一個網頁。 0 j6 y( A% e/ Q# P( g
知道了什麼是SPIDER蜘蛛，那麼怎麼才能知道蜘蛛是否來過你的站？這個可以從
+ g+ f3 c# r5 A! o) j+ X* ^你服務器或者虛擬主機的日誌中看出來，比如我用的站的http://cyz98.com/ 的
1 H+ r9 z5 Z$ V5 v7 n$ Z完整使用日誌中有這樣的記錄：
' @- k* C' p) q9 c/ h9 b220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200
r, {! |. x0 L61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"這就說
7 ?. C0 r5 Z/ D: }( e) o& }明蜘蛛來過我的站了，如果你還想知道有沒有其它搜索引擎的蜘蛛來過你的站，
9 R! z7 I0 n D, G, A% Z你可以在日誌文件中搜索「spider」這個詞，或者搜索蜘蛛的IP，我的就查到
9 e1 f0 x8 @4 asogou也來過我的站，IIS日誌與Apache的日誌是一樣的，都可以查到。
# I4 U4 d$ s2 [4 d5 m5 q& C* l下面是整理出來的一些搜索蜘蛛的地址4 d7 t8 c" ?$ [- T% J$ H
1 202.106.186.* 163蜘蛛 8 z8 }& x4 _' M; Z0 P. Q7 Z0 h7 }
2 202.108.36.* 163蜘蛛 4 U$ w9 z# j1 E# s0 F
3 202.108.44.* 163蜘蛛 2 ?2 j1 C! u/ T/ ]4 x/ x9 O. o# H
4 202.108.45.* 163蜘蛛
( W! F! o, \3 V4 F, T5 202.108.5.* 163蜘蛛 ! Y6 h" {$ Y4 S& o6 p' V( e
6 202.108.9.* 163蜘蛛
9 d Z- N; l5 L) i5 J* H' Y7 220.181.12.* 163蜘蛛
1 B7 Y8 @8 @& O% a$ z" F+ ^* P9 ?8 220.181.13.* 163蜘蛛
& ^' M' w- f* L# m3 Z" y! R8 c9 220.181.14.* 163蜘蛛 / c' r! a' h$ {' C a! t' H
10 220.181.15.* 163蜘蛛 0 O' U2 {" W" b- h8 t
11 220.181.28.* 163蜘蛛
$ y. U7 V/ N. A% p% f12 220.181.31.* 163蜘蛛 1 G7 q* b4 N8 n
13 222.185.245.* 163蜘蛛
1 b7 O# `0 s) t2 U) x14 202.165.100.* 3721蜘蛛
5 s# F; @2 d2 T" a0 u220.181.38.177 百度蜘蛛 . U- e' c- |- Y E; z+ g5 O8 x
15 220.181.19.* 百度蜘蛛 $ I0 ]6 b w" H* Q5 P' f. t9 T, ?
16 159.226.50.* 百度蜘蛛 ! Q0 j. G+ W. Y" e( x
17 202.108.11.* 百度蜘蛛 5 S9 d" w! V" ?5 J3 T# [5 C1 T4 H
18 202.108.22.* 百度蜘蛛
8 Y7 ?% u) t, `& [: F7 N' p19 202.108.23.* 百度蜘蛛 ! o. o$ }, k/ U: Y
20 202.108.249.* 百度蜘蛛 / r: i7 `4 o# e6 o+ |2 x b* l
21 202.108.250.* 百度蜘蛛 % J4 }$ ?: |* d+ a' ?) ]0 K$ e4 a
22 61.135.145.* 百度蜘蛛
( M* S! k! P: K, u23 61.135.146.* 百度蜘蛛
9 R1 Q; i& j! T- `# G( ?8 @' Z24 64.124.85.* become.com 8 O# z8 }- z- c! w
25 61.151.243.* china蜘蛛 & w B+ H4 I$ T* |- F) q1 S
26 202.165.96.* gais.cs.ccu.edu.tw & \9 ?! v) A' F) B/ s: q* m; n; _( D) ?
27 216.239.33.* google蜘蛛 1 [: v/ I/ ]7 V8 ^6 U }7 n/ `" S' `
28 216.239.35.* google蜘蛛
3 A( e! R; k3 E: C29 216.239.37.* google蜘蛛
3 h5 l" n' q! N1 x2 c8 P! c4 c- d/ l30 216.239.39.* google蜘蛛 * ~' R2 G! H5 Y! G6 r* i4 _) m
31 216.239.51.* google蜘蛛
1 g( J$ |) W+ ^# e32 216.239.53.* google蜘蛛
! J% Y& X3 s! ~! H8 l33 216.239.55.* google蜘蛛
/ D+ {9 d7 g& \& H3 K5 @) x34 216.239.57.* google蜘蛛 , t! n( q6 [0 }6 O
35 216.239.59.* google蜘蛛
/ j: l0 `6 e' ?, Y) x* D36 64.233.161.* google蜘蛛 , A4 r2 @) q: Q' w: i3 k- U2 G
37 64.233.189.* google蜘蛛 ) ~: q$ i* S/ C5 n! I+ ?5 B7 G$ ~
38 66.102.11.* google蜘蛛 * R* [1 c# d/ m' N
39 66.102.7.* google蜘蛛 ' [6 u) b4 D0 s: P
40 66.102.9.* google蜘蛛
" u9 L* `! j* n. q41 66.249.64.* google蜘蛛
$ \0 o# E* v& A- S& w* f% A42 66.249.65.* google蜘蛛 6 a! I0 i+ w# Q1 u2 J
43 66.249.66.* google蜘蛛
Z l) }2 o+ H7 I44 66.249.71.* google蜘蛛 % W/ \" j- A# [8 D- L
45 66.249.72.* google蜘蛛
a: u2 A; K# Z46 72.14.207.* google蜘蛛 6 A( k1 Y/ V# k
47 61.135.152.* iask蜘蛛 ; A# j3 w5 W5 Y' k$ Q8 X3 x
48 65.54.188.* msn蜘蛛
0 A/ t# s# Y) o3 u! u+ n49 65.54.225.* msn蜘蛛 ?$ |2 X& Q4 s
50 65.54.226.* msn蜘蛛 ) ]6 x$ j" _ T! a7 f
51 65.54.228.* msn蜘蛛
& Z4 w6 A& k7 X, X, n! @52 65.54.229.* msn蜘蛛 ! u- P d$ Z; f0 o5 L
53 207.46.98.* msn蜘蛛
b' t% f/ Y2 c! a% z9 j% j7 `% F# N54 207.68.157.* msn蜘蛛 ' E6 [( S& K, L- L4 k, e
55 194.224.199.* noxtrumbot
+ ]2 c8 I7 u& j+ u6 k56 220.181.8.* Outfox & o3 |' Q7 m$ Q
57 221.239.209.* Outfox
1 u" a* M# Z w7 ^/ o" ?: c58 217.212.224.* psbot
1 R( j3 R' [. ~6 ]2 K59 219.133.40.* QQ蜘蛛 3 e4 X$ C8 G+ z
60 202.96.170.* QQ蜘蛛 7 z+ {* U5 P/ r1 K, q' {
61 202.104.129.* QQ蜘蛛 / m1 S* R' T# c, g
62 61.135.157.* QQ蜘蛛
' r$ _. N* }$ E @+ K. I6 T0 O# x63 219.142.118.* sina蜘蛛 6 T( t7 p" T" U2 S0 W0 A
64 219.142.78.* sina蜘蛛
7 Q/ F& u: z1 ?% C: Y ?7 q65 61.135.132.* sohu蜘蛛 9 W) `) M8 i7 X1 s3 n7 ~
66 220.181.26.* sohu蜘蛛
7 x9 x5 G$ ?" m! w1 V# J" Z220.181.19.*
# f u9 \1 Y9 {7 m67 61.135.158.* tom蜘蛛
- j2 s- c: M# u6 P68 66.196.90.* yahoo蜘蛛 L% r: [) C- h4 ^& t
69 66.196.91.* yahoo蜘蛛
% K6 |( M4 P A# R7 B8 E70 68.142.249.* yahoo蜘蛛 j3 I0 j2 n, W5 a0 l9 j
71 68.142.250.* yahoo蜘蛛
' P, o9 V' ]1 [, a0 N& r- C. Q% r72 68.142.251.* yahoo蜘蛛 6 k3 g: }* a$ y k5 X. j
73 202.165.102.* yahoo中國蜘蛛 8 b6 m, _9 i; ~7 J5 k4 Q- n. \
74 202.160.178.* yahoo中國蜘蛛
% P6 s5 G9 g( V: Z# x& H75 202.160.179.* yahoo中國蜘蛛 5 l6 _; { H7 X
76 202.160.180.* yahoo中國蜘蛛
7 e$ [$ X* B, [0 J" \! C77 202.160.181.* yahoo中國蜘蛛 9 f- n8 R& H1 {, B0 F
78 202.160.183.* yahoo中國蜘蛛
4 Q( N6 k/ u/ \* Z0 e79 72.30.101.* yahoo蜘蛛
; j1 O8 e0 X$ P' l& y9 a7 ]. A80 72.30.102.* yahoo蜘蛛 * j. P- \! H4 y
81 72.30.103.* yahoo蜘蛛 0 ~0 b1 |9 _- N9 k* a& Z
82 72.30.104.* yahoo蜘蛛
. t, ~7 v) L8 r# ^; A5 V83 72.30.107.* yahoo蜘蛛
# n. [: _, }- T( A+ c$ f84 72.30.110.* yahoo蜘蛛
4 m$ s5 h- W1 `3 D3 i5 ~5 z% L85 72.30.111.* yahoo蜘蛛
# V" C! v/ M/ y; h( h86 72.30.128.* yahoo蜘蛛
3 y2 t% V1 r, E. `3 c87 72.30.129.* yahoo蜘蛛 z2 C+ y8 O- J/ a
88 72.30.131.* yahoo蜘蛛
$ L# Z/ l1 l* z- @89 72.30.133.* yahoo蜘蛛
& V3 S# ~# t7 L5 ]4 I90 72.30.134.* yahoo蜘蛛 0 {% P3 Y# M3 R3 ~+ v
91 72.30.135.* yahoo蜘蛛
! @% W' v4 ]2 Q6 F92 72.30.216.* yahoo蜘蛛
8 Z2 B0 d# r8 L. j* \! P8 ?) b93 72.30.226.* yahoo蜘蛛
9 ^! v' d" w! ? B9 l& x94 72.30.252.* yahoo蜘蛛
# g0 }4 W, c, h0 ?1 ^) y" E1 A8 k9 k95 72.30.97.* yahoo蜘蛛 " K9 `. h, l F3 f4 Q
96 72.30.98.* yahoo蜘蛛
4 T# M: R Z7 L; M: [5 K4 |8 Y97 72.30.99.* yahoo蜘蛛
9 K0 H1 J+ X$ a7 g# K ]98 74.6.74.* yahoo蜘蛛; U2 d+ A1 _/ v6 a2 c7 U
99 202.108.4.* 中搜蜘蛛
3 R9 o2 ~: c6 D& A' e, {, u, B% H100 202.108.4.* 中搜蜘蛛 7 s i; x2 c0 J9 A7 w, y
101 202.108.33.* 中搜蜘蛛
" [( q/ O% w( b& j$ i; J* `102 202.96.51.* 中搜蜘蛛
' s: ~. r, F- M8 F' Q103 219.142.53.* 中搜蜘蛛 |
|
發表於 2009-4-28 13:47:41
提升卡
沉默卡
变色卡