php爬蟲庫
Ⅰ php有哪些爬蟲框架
Beanbun 是用 PHP 編寫的多進程網路爬蟲框架，具有良好的開放性、高可擴展性。
php爬蟲框架phpspider
Ⅱ 你好，我如何用php來實現網路爬蟲呢具體一點
以下是訪問某音樂網站，並獲取其歌曲名等數組的示例，你可以參考：
<?php
header('Content-type:text/html;charset=utf-8');
$doc = file_get_contents('http://www.songtaste.com/music/');
$pa = '{MSL\((.*)\);}';
preg_match_all($pa,$doc,$r);
for($i=0;$i<count($r[1]);$i++)
{
$r1 = explode(', ',$r[1][$i]);
echo '歌曲標題：'. iconv('gb2312','utf-8',$r1[0]) .' 歌曲ID：'.$r1[1].'<br/>';
}
?>
Ⅲ 用Php寫一個爬蟲抓取新聞
用正則表達式，你試試
好多採集軟體也能支持這個新聞採集啊，比如說八爪魚採集器，把你要抓取的新聞頁面URL輸入進去，就可以實現自動抓取，還能設置定時抓取，你可以去試試看
Ⅳ 如何用php 編寫網路爬蟲
php不太適合用來寫網路爬蟲,因為幾乎沒有現成的框架,或者成熟的下載機制,也不太適合做並發處理.
下載頁面的話除了一個curl,就是file_get_contents,或者curl_multi來做並發請求.curl可以代理埠,虛假ip,帶cookie,帶header請求目標頁面,下載完成之後解析頁面可以用queryList來解析html.寫法類似jQuery.
提供給你我之前寫的類:curl.php 希望可以幫到你.
QueryList.php和phpQuery.php由於文件太大了,沒辦法貼上來
<?php
classHttp{
publicfunctioncurlRequest($url,$postData='',$timeOut=10,$httpHeader=array()){
$handle=curl_init();
curl_setopt($handle,CURLOPT_URL,$url);
if($httpHeader){
curl_setopt($handle,CURLOPT_HTTPHEADER,$httpHeader);
}
curl_setopt($handle,CURLOPT_RETURNTRANSFER,true);
curl_setopt($handle,CURLOPT_HEADER,0);curl_setopt($handle,CURLOPT_TIMEOUT,$timeOut);
curl_setopt($handle,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($handle,CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($handle,CURLOPT_SSL_VERIFYHOST,false);
curl_setopt($handle,CURLOPT_USERAGENT,'Mozilla/5.0(Macintosh;IntelMacOSX10_7_2)AppleWebKit/537.36(KHTML,likeGecko)Chrome/27.0.1453.93Safari/537.36');curl_setopt($handle,CURLOPT_ENCODING,'gzip,deflate,sdch');
if(!empty($postData)){
curl_setopt($handle,CURLOPT_POST,1);
curl_setopt($handle,CURLOPT_POSTFIELDS,$postData);
}
$result['response']=curl_exec($handle);
$result['httpStatus']=curl_getinfo($handle,CURLINFO_HTTP_CODE);
$result['fullInfo']=curl_getinfo($handle);
$result['errorMsg']='';
$result['errorNo']=0;
if(curl_errno($handle)){
$result['errorMsg']=curl_error($handle);
$result['errorNo']=curl_errno($handle);
}
curl_close($handle);
return$result;
}
}
?>
Ⅳ 求一個簡易的php爬蟲提取網頁的title
header("Content-Type: text/html; charset=gbk");
$url = "http://www..com/";
$fcontents = file_get_contents($url);
if (ereg("<title>(.*)</title>", $fcontents, $regs)){echo "ok";}else{echo "error";}
echo "<br>";
print_r($regs);
Ⅵ PHP爬蟲用什麼類庫
它的元素能夠添加到數組中肯定已經存在（定義）了，當時我就想這段代碼毫無意義，然後又去查了下手冊，才知道isset函數的功能：當變數存在且不為空時才返回true。如果一個變數定義了，但是沒有賦值，那麼默認為空。上面的代碼就是找出數組中第一個不為空的變數。
Ⅶ 如何用PHP做網路爬蟲
其實用PHP來爬會非常方便，主要是PHP的正則表達式功能在搜集頁面連接方面很方便，另外PHP的fopen、file_get_contents以及libcur的函數非常方便的下載網頁內容。
Ⅷ 這是我用php編寫的爬蟲，為何運行，沒有效果
有些網站是防爬蟲的，需要模擬瀏覽器訪問
Ⅸ php 實現網路爬蟲
pcntl_fork或者swoole_process實現多進程並發。按照每個網頁抓取耗時500ms，開200個進程，可以實現每秒400個頁面的抓取。
curl實現頁面抓取，設置cookie可以實現模擬登錄
simple_html_dom 實現頁面的解析和DOM處理
如果想要模擬瀏覽器，可以使用casperJS。用swoole擴展封裝一個服務介面給PHP層調用
在這里有一套爬蟲系統就是基於上述技術方案實現的，每天會抓取幾千萬個頁面。
Ⅹ php爬蟲框架哪個好用
Beanbun使用的是workman和guzzle，資料庫使用的是medoo，支持分布式部署，可以使用內存（估計是workman自帶的容器）和redis做隊列，可以方便靈活的製作插件，擴展性強。
Beanbag安裝方便，可以使用composer進行安裝：
$composerrequirekiddyu/beanbun