WordPress監測蜘蛛爬行記錄代碼

顯示全部樓層 · 發表於 2013-4-19 21:25:37

本帖最後由 wuzu 於 2013-4-19 21:27 編輯

WordPress監測蜘蛛爬行記錄，用插件固然可以實現，不過插件也有弊端，太多的會造成載入速度的下降，插件間的衝突等，所以能使用代

碼實現的就一定要用代碼來實現。
這個監測搜索引擎蜘蛛爬行記錄的代碼，其實很簡單的一段代碼：<?php
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 『googlebot』) !== false){
return 『Googlebot』;
}
if (strpos($useragent, 『msnbot』) !== false){
return 『MSNbot』;
}
if (strpos($useragent, 『slurp』) !== false){
return 『Yahoobot』;
}
if (strpos($useragent, 『baiduspider』) !== false){
return 『Baiduspider』;
}
if (strpos($useragent, 『sohu-search』) !== false){
return 『Sohubot』;
}
if (strpos($useragent, 『lycos』) !== false){
return 『Lycos』;
}
if (strpos($useragent, 『robozilla』) !== false){
return 『Robozilla』;
}
return false;
}
function nowtime(){
$date=gmdate(「Y-n-j H:i:s」,time()+8*3600);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file=」robotslogs.txt」;
$time=nowtime();
$data=fopen($file,」a」);
fwrite($data,」Time:$time robot:$searchbot URL:$tlc_thispage\n」);
fclose($data);
}
?>
原理：各大搜索引擎的蜘蛛爬行程序都有自己的標識符，例如谷歌的是googlebot，百度的是 baiduspider，

它們可以通過查詢_SERVER變量中的HTTP_USER_AGENT參數來獲取，再結合HTTP_REFERER記錄下 URL的來源，

最後用 nowtime()函數取得當前的系統時間，就形成了一條簡單的擎蜘蛛爬行記錄。
看不明白的朋友可以跳過，其實代碼許多年前網上就有人共享出來了，我們重點學會如何使用就可以了。
使用: 然後將上面貼出來的代碼另存為robots.php，當然你可以任意給它取個名字，例如bbb.php或者

111.php 都行，只要保證擴展名是php，讓它能夠正常執行即可；然後上傳到你的網站程序的模板目錄中（例

如Wordpress的是/wp-content /themes/xiao目錄）；最後在你的模板文件中調用它，例如在Wordpress博客

中，你可以在footer.php文件中添加<?php include(』robots.php』) ?>代碼。
接下來就是等待搜索引擎蜘蛛到你的網站來爬行了，爬行的結果記錄在網站根目錄的robotslogs.txt中，你

直接打開 http://www.xxx.com/robotslogs.txt就能看到了。當然你也可以修改robots.php文件的第50行，

把robotslogs.txt換成任意你想要的名字。
通過一段時間的監測，你就可以發現搜索引擎蜘蛛在你的網站上爬行的頻率了，一般來說，蜘蛛爬行得越勤

快越好。另外，如果你的robotslogs.txt記錄的內容太多了的話，你可以清空它重新開始記錄。

顯示全部樓層 · 發表於 2013-4-19 21:31:57

這個是很早的文章了，不過還是謝謝樓主分享

顯示全部樓層 · 發表於 2013-4-19 21:39:17

謝謝分享，我一般看網站日誌

顯示全部樓層 · 發表於 2013-4-19 22:29:41

謝謝樓主分享

顯示全部樓層 · 發表於 2013-4-20 00:11:52

直接分析access-logs不就行了麼

顯示全部樓層 · 發表於 2013-4-20 06:36:17

直接看日誌，減少wp的負載

顯示全部樓層 · 發表於 2013-4-20 08:03:39

本帖最後由 luguokankan 於 2013-4-20 08:05 編輯

我記得有個商業版的wordpress plugin, 是專門對付spider, 當然比lz的這個強大得多.
可惜忘記叫什麼名字,只記得它的文件夾名字是sspro
---
查了下回收站,居然還在.
名字叫SpyderSpanker Pro

		自動登錄	找回密碼
密碼			免费注册

WordPress監測蜘蛛爬行記錄代碼

評分