WordPress監測蜘蛛爬行記錄代碼

2 b; B* f. O; u+ E6 |) Y- k) D4 \
WordPress監測蜘蛛爬行記錄，用插件固然可以實現，不過插件也有弊端，太多的會造成載入速度的下降，插件間的衝突等，所以能使用代

碼實現的就一定要用代碼來實現。
1 j! ?" l+ J7 e; C這個監測搜索引擎蜘蛛爬行記錄的代碼，其實很簡單的一段代碼：<?php
- K( H! M: V4 @' M% P! k) y7 Ufunction get_naps_bot()
- O2 D5 w7 R7 m: c2 u: C{
: `; h0 v1 N) V' i7 R$ m# N$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 『googlebot』) !== false){
return 『Googlebot』;
}
' _2 T1 Z4 G0 Y8 ]3 [5 ^7 y) Hif (strpos($useragent, 『msnbot』) !== false){
2 o; z2 x: [3 rreturn 『MSNbot』;
}
9 r7 V% e+ I& ?6 M$ yif (strpos($useragent, 『slurp』) !== false){
: P5 n/ y- I+ \return 『Yahoobot』;
9 p* U3 U. K5 |" t$ G/ p0 o}
if (strpos($useragent, 『baiduspider』) !== false){
return 『Baiduspider』;
9 ?  g. u% k9 L( f}
6 H2 a  o! f1 G; e1 x1 v. S: xif (strpos($useragent, 『sohu-search』) !== false){
return 『Sohubot』;
}
if (strpos($useragent, 『lycos』) !== false){
! p% I  g1 j# D7 N* }' D2 A/ @. A$ zreturn 『Lycos』;
}
" O7 c# T0 h# nif (strpos($useragent, 『robozilla』) !== false){
, o  g4 J' B# A9 A" m" Xreturn 『Robozilla』;
- R6 O( `9 J. u7 G}
return false;
1 }8 A3 Z+ N& f}
function nowtime(){
) ^- k& ]" @8 A' X9 L$date=gmdate(「Y-n-j H:i:s」,time()+8*3600);
) z  J# S( x2 \5 D5 a3 Breturn $date;
' L+ d$ ^- X" E0 ^& `5 O/ \}
$searchbot = get_naps_bot();
7 q$ _( {& V" X4 N; Tif ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
* H4 R) H  K  i' y5 M8 R+ Q$ n+ O$url=$_SERVER['HTTP_REFERER'];
$file=」robotslogs.txt」;
$time=nowtime();
$data=fopen($file,」a」);
( [+ b7 S6 h) C) _0 ]6 b, ^) q; ]7 Wfwrite($data,」Time:$time robot:$searchbot URL:$tlc_thispage\n」);
. {# b7 y5 F5 v9 H, Afclose($data);
}
" }1 L4 k2 D: t. J& l?>
; |% h( Y- V( y) T原理：各大搜索引擎的蜘蛛爬行程序都有自己的標識符，例如谷歌的是googlebot，百度的是 baiduspider，

( D$ s! p1 \' P! b# `. m( m) N) Y* R它們可以通過查詢_SERVER變量中的HTTP_USER_AGENT參數來獲取，再結合HTTP_REFERER記錄下 URL的來源，
6 ?: F. q. p5 E4 S
最後用 nowtime()函數取得當前的系統時間，就形成了一條簡單的擎蜘蛛爬行記錄。
% d8 @" s6 Y: Y2 W) z: J看不明白的朋友可以跳過，其實代碼許多年前網上就有人共享出來了，我們重點學會如何使用就可以了。
. L3 g0 g$ M. a/ g# N0 e使用: 然後將上面貼出來的代碼另存為robots.php，當然你可以任意給它取個名字，例如bbb.php或者
; E4 d9 Y. I: F3 }+ A
: H+ P: ~" u4 X9 g) H- r% ?111.php 都行，只要保證擴展名是php，讓它能夠正常執行即可；然後上傳到你的網站程序的模板目錄中（例
" n; i0 h, m: Y) W) o
如Wordpress的是/wp-content /themes/xiao目錄）；最後在你的模板文件中調用它，例如在Wordpress博客
/ B8 o8 i# R- a3 ]% n
5 ?7 D& w2 M  R! C中，你可以在footer.php文件中添 加<?php include(』robots.php』) ?>代碼。
接下來就是等待搜索引擎蜘蛛到你的網站來爬行了，爬行的結果記錄在網站根目錄的robotslogs.txt中，你
( ~# P+ v. [) `* c3 j  |
直接打開 http://www.xxx.com/robotslogs.txt就能看到了。當然你也可以修改robots.php文件的第50行，
" P3 P. w  I4 V: D( u$ I' A) F, |. |0 m
把robotslogs.txt換成任意你想要的名字。
通過一段時間的監測，你就可以發現搜索引擎蜘蛛在你的網站上爬行的頻率了，一般來說，蜘蛛爬行得越勤

. K& \4 R7 e) b/ G- S4 X% c  x" e快越好。另外，如果你的robotslogs.txt記錄的內容太多了的話，你可以清空它重新開始記錄。

5 L) i) a. m2 F( D1 @$ B" |

這個是很早的文章了，不過還是謝謝樓主分享

謝謝分享，我一般看網站日誌

謝謝樓主分享

直接分析access-logs不就行了麼

直接看日誌，減少wp的負載

我記得有個商業版的wordpress plugin, 是專門對付spider, 當然比lz的這個強大得多.
可惜忘記叫什麼名字,只記得它的文件夾名字是sspro
---
查了下回收站,居然還在.
名字叫SpyderSpanker Pro