捉蜘蛛的ASP代碼

捉蜘蛛的ASP代碼，昨天很多人問，現在我放出了，不過其實落伍早就有了，只不會沒說清楚用法。壓縮文件裡有使用說明，希望對大家有用。
PS：你捉到蜘蛛，但它不一定從你（不一定會收錄），還有，蜘蛛爬過後，robots文件夾下會生成對蜘蛛名的文本文件

1. <%
   0 h7 ^! W& [/ T/ I( g- R0 J' I' Z9 I3 O
2. Sub robot()
   
3.         Dim robots:robots="Baiduspider+@Baidu|Googlebot@Google|ia_archiver@Alexa|IAArchiver@Alexa|ASPSeek@ASPSeek|YahooSeeker@Yahoo|SogouBot@sogou|help.yahoo.com/help/us/ysearch/slurp@Yahoo|sohu-search@SOHU|MSNBOT@MSN"
   * r: C/ A5 r3 I! j: i, I( g
4.         dim I1,I2,l1,l2,l3,i,rs
   
5.         l2=false
   6 S+ Y+ z2 N: M/ ~
6.         l1=request.servervariables("http_user_agent")
   
7.         F1=request.ServerVariables("SCRIPT_NAME")
   
8.         I1=split(robots,chr(124))
   
9.         for i=0 to ubound(I1)
   
10.                 I2=split(I1(i),"@")
    
11.                 if instr(lcase(l1),lcase(I2(0)))>0 then
    
12.                         l2=true:l3=I2(1):exit for
    
13.                 end if
    ! m# J; \9 _* K+ u3 G5 @
14.         next
    
15.         if l2 and len(l3)>0 then'如果是爬蟲,就更新爬蟲信息
    ! c. d: @8 v. c# V9 o
16.                 FilePath = Server.Mappath("robots/"&l3&"_robots.txt")
    8 J7 R. Y+ q. I/ E! Y
17.                 '記錄蜘蛛爬行
    
18.                 Set Fso = Server.CreateObject("Scripting.FileSystemObject")
    . x) d, a  A3 U/ B+ E$ L, t; K
19.                 Set Fout = Fso.OpenTextFile(FilePath,8,True)
    $ Y3 p) _) F- ?0 K8 c
20.                                 Fout.WriteLine "索引頁面："&F1
    & f6 O3 a$ O5 F3 }- G
21.                                 Fout.WriteLine "蜘蛛："&l3&chr(32)&chr(32)&"更新時間："&Now()
    
22.                                 Fout.WriteLine "-----------------------------------------------"
    
23.                                 Fout.Close
      K7 C- [" q4 b! \, p4 P; E" g
24.                 Set Fout = Nothing
    : J* g4 w; {) l- @" S
25.                 Set Fso = Nothing
    
26.         end if
    
27. end Sub
    
28. %>0 then
    - L$ x% G! y% U# K, j7 S: M
29.                         l2=true:l3=I2(1):exit for
    5 D# l" s2 Y0 D2 z
30.                 end if
    
31.         next
    
32.         if l2 and len(l3)>0 then'如果是爬蟲,就更新爬蟲信息
    ' e$ R0 }" T0 f! i9 J0 _1 M
33.                 FilePath = Server.Mappath("robots/"&l3&"_robots.txt")
    
34.                 '記錄蜘蛛爬行
    ' D; w8 B( ]; n+ ~# K
35.                 Set Fso = Server.CreateObject("Scripting.FileSystemObject")
    
36.                 Set Fout = Fso.OpenTextFile(FilePath,8,True)
    7 r4 ?9 i. |9 W  z! h
37.                                 Fout.WriteLine "索引頁面："&F1
    - }# v! n/ ?* @" S2 T% J
38.                                 Fout.WriteLine "蜘蛛："&l3&chr(32)&chr(32)&"更新時間："&Now()
    
39.                                 Fout.WriteLine "-----------------------------------------------"
    1 j4 L; Z% N. |8 p2 [
40.                                 Fout.Close
    
41.                 Set Fout = Nothing
    
42.                 Set Fso = Nothing
    + m. ]- S: z+ X& v' T
43.         end if
    : q4 e7 x/ w5 V, _
44. end Sub
    ) G! W: U7 h( B7 `5 J* K
45. %>

複製代碼