從0開始學採集------高級篇：使用Curl模擬登陸網站

1 U6 Y* |; q2 ]6 f- H$ R前言：
在從0開始學採集------中級篇：使用Curl抓取網頁內容，我們介紹了如何使用curl抓取論壇的帖子列表。但我們知道無論是論壇還是我們某些要採集和群發的對象，有很多時候是需要登陸後才可以訪問或操作的。拿我們的例子TGL論壇來說，比如這個帖子，如何賺豬毛教程，閱讀權限為10，也就是必須要登陸才可以看到，只有可以看到才能談如何採集。再比如，只要涉及群發的沒有一個不是必須先登陸的。那麼今天我們就來介紹下，使用curl如何模擬登陸到TGL，我用相對最簡單、易懂的語句寫了一個例子，並配了註釋，希望有興趣的朋友參考下，結合上一篇的例子，綜合起來就可以完成一個最簡單的採集程序了。如果你能寫出來，那麼你就可以去嘗試研究實戰採集了，curl的參數還有很多，同時，許多網站的防採集、防群發措施也很多，需要更深入一步的研究才能解決。

0 K. Q$ a5 e5 ]1 d9 M- w+ g& L採集步驟：
" U! K  k( C# i0 I$ N" X模擬登陸網站的過程要分兩步進行：
0 `$ d) D7 g* x) H3 Y8 X( B1.先訪問產生登陸cookie並保存。
; |6 t$ M* F3 o! D2 T" w5 d2.讀取cookie後，打開需要的頁面採集或做其他你想要的操作。

參考代碼：
( h6 g. X9 F/ H* ?2 ?1 h6 g<?php
) `2 p: T& d' Tset_time_limit(0);//設置允許腳本運行的時間為無限，默認為30秒
$username="填寫你的用戶名";
$password="填寫你的密碼";
& j4 @9 U  j% ]: ]( G! ^0 V$cookie_file = dirname(__FILE__)."/cookie.txt";//設置cookie文件的保存位置
$login_url = 'http://www.luosuo.net/old/member.php?mod=logging&action=login&loginsubmit=yes&infloat=yes&lssubmit=yes';//要登陸的網頁地址
7 J5 ]/ g) n$ H, [0 l' o' i7 j, k/ o//設置post要提交的內容
. D8 h6 e: k- s, V) g# I' i8 _$post_data = array(
'username'=>$username,
'password'=>$password
4 O4 k6 j! w. S3 [3 i);
1 u$ N# S- [2 n. l
//建立cookie開始，也就是步驟1
3 t# ^8 u0 I. U0 @! S. u: ]$ch = curl_init($login_url);//初始化
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//將返回的內容作為變量儲存,而不輸出.
curl_setopt($ch, CURLOPT_POST, 1);//設置提交方式為post
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);//提交POST
( r! Y( l5 h% G! x: Acurl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);//保存cookie
( o  l# d& O* @' F2 ~, Xcurl_exec($ch);//執行
curl_close($ch);//返回關閉
4 Z. P; V# p9 t  t5 a//建立cookie結束

! G! J4 }1 N2 b5 i$url='http://www.luosuo.net/old/thread-106111-1-1.html';
$ch = curl_init($url);
* O5 C. F5 n; @& D1 a7 H' ccurl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
) U  B. m- e/ R7 ~4 _: |/ i2 scurl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);//讀取cookie
' v! A; W7 h) ^5 n8 A2 m2 A7 Q$contents = curl_exec($ch);
echo $contents;
; r3 C4 F7 b" S  V# Y1 ~curl_close($ch);
4 g0 ~: w+ A, H$ W?>

9 j( \8 O' E# x一些參數的由來：
2 d6 Z& }5 v9 J! e代碼加註釋，估計大家都看懂了。但是代碼中$login_url，$post_data裡面內容怎麼得到的呢？答案在下圖中，有耐心、想學習的朋友一定可以輕鬆找到。
+ t3 `2 T8 i: ~% z* s3 d

6 O% G. F. |: q  Y& \7 p- i至此，我的《從0開始學採集》系列教程也已完結，感謝月光飛燕每次都將我的帖子設置高亮，也感謝論壇裡一直為我加分，一直回帖支持我的朋友們！有了大家的支持，才給了我寫完整篇教程的動力。
$ m- u0 K% p& W- K. A
# c4 i7 x8 n% Z+ `' `7 k8 ?0 a雖然，我來到論壇僅僅一周多的時間，但在這裡我學到了很多東西，確實感覺自己處身於所需要知識的海洋裡，思路變得開闊了，也漸漸的感覺到了自己的方向。從自己寫貼中，也體會到了更應珍惜論壇中其他朋友提供的有價值帖子，因為別人寫帖也必定要像自己一樣至少花費1個小時的時間才能完成，教程往往也是作者在總結掌握知識的基礎上，形成的智慧結晶，更應去仔細學習，認真實踐。有問題回帖交流。
. g5 i  _; ~5 J) s* Y# ~
; M9 s" R  _  g6 D6 z. U
5 m) I8 M/ k" N1 H6 U
9 W) P: m; o& M  X3 s0 ]

   感謝你的分享:)
; F. |6 X. a' {, q

完結啦？！！。。。                                    
- k' w0 ^: q8 U# ?. l9 @

這個太厲害了，謝謝分享

不錯
支持一下，我也常用curl採集

感謝分享。。。。。。。。。

謝謝分享~~~~~~~~~~~~~~~~~~~~~~~

非常感謝分享，為新手又開了一扇門。
: I# a) a8 u* d: s' j( w; F# H

謝謝樓主分享採集經驗，挺不錯的教程