從0開始學採集------中級篇：使用Curl抓取網頁內容

顯示全部樓層 · 發表於 2014-10-29 21:58:04

本帖最後由 kevinmy 於 2014-10-29 22:05 編輯

前言：
在初級篇和中級篇之前期準備我們介紹了利用火車頭採集內容並發佈到wordpress的過程（帖子地址：http://www.luosuo.net/old/thread-121090-1-1.html），也介紹如何在本機搭建PHP環境，在結尾處貼出了一個由3行代碼組成的最簡易的採集小程序（帖子地址：http://www.luosuo.net/old/thread-121117-1-1.html），帖子發出20多分鐘，就得到了朋友們的積極反饋，會員：mulao在回帖中提到「不建議使用file_get_contents採集，推薦使用php的curl庫」並在帖中貼出了兩者
讀取google.com首頁的效率對比。mulao的說法是正確的，curl和file_get_contents對比起來，不僅是效率高，同時它還支持很多協議，如HTTP、FTP、TELNET等，用curl還可以完成一些高難度任務，比如：處理coockies、驗證、表單提交、文件上傳等等。file_get_contents相比較起來只有一個簡單、讓新手樹立信心的優勢了，不知道昨天的3行採集程序有多少人去實驗了？好，今天我們正式開始中級篇：使用Curl抓取網頁內容

在學習更為複雜的功能之前，先來看一下在PHP中建立curl請求的基本步驟：
1.初始化
2.設置變量
3.執行並獲取結果
4.釋放curl句柄

以下為採集TGL帖子列表的代碼：
<?php
set_time_limit(0);//設置程序執行時間
header("Content-Type: text/html; charset= utf-8"); //設置頁面的編碼，不設置會亂碼

$url="http://www.luosuo.net/old/forum-4-1.html";
$ch = curl_init($url);//初始化
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回的內容我們是作為變量儲存, 而不輸出，所以這裡選1.
$contents = curl_exec($ch);// 運行cURL，請求網頁
preg_match_all('{<a href="([^"]+)" class="xst" >(.*)</a>}',$contents,$matches);//正則匹配想要的內容
curl_close($ch);// 關閉URL請求

for ($i=0;$i<count($matches[1]);$i++)//for循環結構很常用，這裡的作用是循環記錄總數的的次數，每次循環中可以任意處理採集到的內容
{
$title = $matches[2][$i];
$geturl = $matches[1][$i];
echo "我要的標題是：" . $title. "<br/>" . "對應的網址是：" . $geturl . "<br/><br/><br/>";
}
?>

代碼運行的結果如下：

要點：

1.在curl這段代碼中 curl_setopt() ）最為重要，通過參數指定URL請求的各個細節來實現一些複雜的功能，但由於參數眾多，要一次性看完並理解也比較困難，所以今天我們只用了這一個選項，curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);這裡的參數我們設置為1或者true的原因是，返回的內容我們要作為變量儲存, 而不直接輸出到屏幕上。

2. preg_match_all這段正則匹配，想要學好採集，正則是必須學會的。這個一句兩句說不清，請百度搜索：正則表達式，有很多教程。

3.for循環讀出數組內的內容。這個結構在採集中經常用到的。

今天的教程好像解釋的不清楚，也不知道該寫點什麼，可能還是因為本人水平有限，無法簡單易懂的說明原理。有問題回帖吧

顯示全部樓層 · 發表於 2014-10-29 22:37:28

樓主也會PHP，不會PHP程序員出身吧。現在不用上班了吧

顯示全部樓層 · 發表於 2014-10-29 22:42:01

謝謝分享~~~~~~~~~~~~~~~~~~~~~~~

顯示全部樓層 · 發表於 2014-10-29 22:49:08

感謝樓主分享，期待後續大作

顯示全部樓層 · 發表於 2014-10-29 23:56:25

這個可以收藏下。。；。

顯示全部樓層 · 發表於 2014-10-30 00:03:01

占座學習

顯示全部樓層 · 發表於 2014-10-30 00:22:26

謝謝樓主分享，我就懂點PHP::::

顯示全部樓層 · 發表於 2014-10-30 00:22:41

mark 學習

顯示全部樓層 · 發表於 2014-10-30 10:42:42

前排占座，好好學習

顯示全部樓層 · 發表於 2014-10-30 10:55:33

$i<count($matches[1]); 這個count（）是個函數嗎？

		自動登錄	找回密碼
密碼			免费注册

從0開始學採集------中級篇：使用Curl抓取網頁內容

評分

瀏覽過的版塊