捉蜘蛛的ASP代碼

捉蜘蛛的ASP代碼，昨天很多人問，現在我放出了，不過其實落伍早就有了，只不會沒說清楚用法。壓縮文件裡有使用說明，希望對大家有用。
PS：你捉到蜘蛛，但它不一定從你（不一定會收錄），還有，蜘蛛爬過後，robots文件夾下會生成對蜘蛛名的文本文件

1. <%
   
2. Sub robot()
   # r0 K: c3 [+ c( {1 o8 O
3.         Dim robots:robots="Baiduspider+@Baidu|Googlebot@Google|ia_archiver@Alexa|IAArchiver@Alexa|ASPSeek@ASPSeek|YahooSeeker@Yahoo|SogouBot@sogou|help.yahoo.com/help/us/ysearch/slurp@Yahoo|sohu-search@SOHU|MSNBOT@MSN"
   
4.         dim I1,I2,l1,l2,l3,i,rs
   / ~; K- t4 l; A& v3 m
5.         l2=false
   # ?: k7 V, ~1 `& p6 d) \
6.         l1=request.servervariables("http_user_agent")
   
7.         F1=request.ServerVariables("SCRIPT_NAME")
   6 ~& a7 q2 {$ Y4 x
8.         I1=split(robots,chr(124))
   
9.         for i=0 to ubound(I1)
   & S6 f) R* m6 ]6 T. F: m* x6 t8 f
10.                 I2=split(I1(i),"@")
    * t9 l7 E; `  H- p+ F9 p  P
11.                 if instr(lcase(l1),lcase(I2(0)))>0 then
    : ^7 N' b3 o0 Z
12.                         l2=true:l3=I2(1):exit for
    
13.                 end if
    
14.         next
    3 C7 \3 F' D3 N1 R& L
15.         if l2 and len(l3)>0 then'如果是爬蟲,就更新爬蟲信息
    # p, h$ L5 b: u- V& s. [
16.                 FilePath = Server.Mappath("robots/"&l3&"_robots.txt")
    ) {! Z5 |1 ^& A  V
17.                 '記錄蜘蛛爬行
    
18.                 Set Fso = Server.CreateObject("Scripting.FileSystemObject")
    0 c- Z7 _6 ]5 C* B0 n
19.                 Set Fout = Fso.OpenTextFile(FilePath,8,True)
    - x) l9 q- t% q! `1 a! L
20.                                 Fout.WriteLine "索引頁面："&F1
    
21.                                 Fout.WriteLine "蜘蛛："&l3&chr(32)&chr(32)&"更新時間："&Now()
    7 Z  v( c# g  `4 S! h, W/ u
22.                                 Fout.WriteLine "-----------------------------------------------"
    
23.                                 Fout.Close
      I, p* S' F" N8 B" w, _
24.                 Set Fout = Nothing
    
25.                 Set Fso = Nothing
    " ^, w; T2 u# |& b! ^
26.         end if
    
27. end Sub
    
28. %>0 then
    
29.                         l2=true:l3=I2(1):exit for
    
30.                 end if
    % V$ S( S0 g  T& d2 F
31.         next
    1 h) I0 i! E8 S  S: p
32.         if l2 and len(l3)>0 then'如果是爬蟲,就更新爬蟲信息
    ) P. D3 T3 r9 o, y1 Y# u
33.                 FilePath = Server.Mappath("robots/"&l3&"_robots.txt")
    
34.                 '記錄蜘蛛爬行
    ) j, ~8 l7 a6 W% V2 u5 u
35.                 Set Fso = Server.CreateObject("Scripting.FileSystemObject")
    
36.                 Set Fout = Fso.OpenTextFile(FilePath,8,True)
    
37.                                 Fout.WriteLine "索引頁面："&F1
    
38.                                 Fout.WriteLine "蜘蛛："&l3&chr(32)&chr(32)&"更新時間："&Now()
    ; M; F3 I, k- n* P5 K/ i
39.                                 Fout.WriteLine "-----------------------------------------------"
    2 G  W- d! p1 _2 [8 j/ \) r
40.                                 Fout.Close
    # C* I) x# }/ F- }
41.                 Set Fout = Nothing
      u: T/ F, q! ]
42.                 Set Fso = Nothing
    
43.         end if
    # W' I$ y  l& L% E; e
44. end Sub
    
45. %>

複製代碼