PHP采集类Snoopy.class.php介绍以及下载

字数

1215 字

阅读时间

5 分钟

Snoopy 是一个非常强大的PHP类，可以利用该类模拟浏览器来完成获取网页内容和发送表单的任务。下面是详细介绍Snoopy.class.php 的特点和一些常见的用法。

官方网站：http://snoopy.sourceforge.net/

下载地址：http://sourceforge.net/projects/snoopy/

本站下载地址：PHP采集库Snoopy.class.php下载

下面是Snoopy的一些特点：

1、抓取网页的内容 fetch
2、抓取网页的文本内容 (去除HTML标签) fetchtext
3、抓取网页的链接，表单 fetchlinks fetchform
4、支持代理主机
5、支持基本的用户名/密码验证
6、支持设置 user_agent, referer(来路), cookies 和 header content(头文件)
7、支持浏览器重定向，并能控制重定向深度
8、能把网页中的链接扩展成高质量的url(默认)
9、提交数据并且获取返回值
10、支持跟踪HTML框架 （v0.92增加）
11、支持重定向的时候传递cookies

备注：使用 Snoopy.class.php 要求php4以上就可以了，由于本身是php一个类，无需扩支持，服务器不支持curl时候的最好选择。

下面是一些常用的类方法介绍:

fetch($URI)

这是为了抓取网页的内容而使用的方法。$URI参数是被抓取网页的URL地址，抓取的结果被存储在 $this->results 中。如果你正在抓取的是一个框架，Snoopy将会将每个框架追踪后存入数组中，然后存入 $this->results。

fetchtext($URI)

本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中的文字内容。

fetchform($URI)

本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中表单内容(form)。

fetchlinks($URI)

本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。默认情况下，相对链接将自动补全，转换成完整的URL。

submit($URI,$formvars)

本方法向$URL\mathrm{指}\mathrm{定}\mathrm{的}\mathrm{链}\mathrm{接}\mathrm{地}\mathrm{址}\mathrm{发}\mathrm{送}\mathrm{确}\mathrm{认}\mathrm{表}\mathrm{单}。$formvars是一个存储表单参数的数组。

submittext($URI,$formvars)

本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回登陆后网页中的文字内容。

submitlinks($URI)

本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。默认情况下，相对链接将自动补全，转换成完整的URL。

类属性: （缺省值在括号里）

$host\mathrm{连}\mathrm{接}\mathrm{的}\mathrm{主}\mathrm{机}$port 连接的端口
$prox{y}_{h}ost\mathrm{使}\mathrm{用}\mathrm{的}\mathrm{代}\mathrm{理}\mathrm{主}\mathrm{机}，\mathrm{如}\mathrm{果}\mathrm{有}\mathrm{的}\mathrm{话}$proxy_port 使用的代理主机端口，如果有的话
$agent\mathrm{用}\mathrm{户}\mathrm{代}\mathrm{理}\mathrm{伪}\mathrm{装}(Snoopyv0.1)$referer 来路信息，如果有的话
$cookiescookies，\mathrm{如}\mathrm{果}\mathrm{有}\mathrm{的}\mathrm{话}$rawheaders 其他的头信息, 如果有的话
$maxredirs\mathrm{最}\mathrm{大}\mathrm{重}\mathrm{定}\mathrm{向}\mathrm{次}\mathrm{数}，0=\mathrm{不}\mathrm{允}\mathrm{许}(5)$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks\mathrm{是}\mathrm{否}\mathrm{将}\mathrm{链}\mathrm{接}\mathrm{都}\mathrm{补}\mathrm{全}\mathrm{为}\mathrm{完}\mathrm{整}\mathrm{地}\mathrm{址}(true)$user 认证用户名, 如果有的话
$pass\mathrm{认}\mathrm{证}\mathrm{用}\mathrm{户}\mathrm{名},\mathrm{如}\mathrm{果}\mathrm{有}\mathrm{的}\mathrm{话}$accept http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, /)
$error\mathrm{哪}\mathrm{里}\mathrm{报}\mathrm{错},\mathrm{如}\mathrm{果}\mathrm{有}\mathrm{的}\mathrm{话}$response_code 从服务器返回的响应代码
$headers\mathrm{从}\mathrm{服}\mathrm{务}\mathrm{器}\mathrm{返}\mathrm{回}\mathrm{的}\mathrm{头}\mathrm{信}\mathrm{息}$maxlength 最长返回数据长度
$rea{d}_{t}imeout\mathrm{读}\mathrm{取}\mathrm{操}\mathrm{作}\mathrm{超}\mathrm{时}(requiresPHP4Beta4+)\mathrm{设}\mathrm{置}\mathrm{为}0\mathrm{为}\mathrm{没}\mathrm{有}\mathrm{超}\mathrm{时}$timed_out 如果一次读取操作超时了，本属性返回 true (requires PHP 4 Beta 4+)
$maxframes\mathrm{允}\mathrm{许}\mathrm{追}\mathrm{踪}\mathrm{的}\mathrm{框}\mathrm{架}\mathrm{最}\mathrm{大}\mathrm{数}\mathrm{量}$status 抓取的http的状态
$tem{p}_{d}ir\mathrm{网}\mathrm{页}\mathrm{服}\mathrm{务}\mathrm{器}\mathrm{能}\mathrm{够}\mathrm{写}\mathrm{入}\mathrm{的}\mathrm{临}\mathrm{时}\mathrm{文}\mathrm{件}\mathrm{目}\mathrm{录}(/tmp)$curl_path cURL binary 的目录, 如果没有cURL binary就设置为 false

如下是几个常见的使用示例：

（1）抓取php程序员的笔记网站上首页页面上的文字

<?php
include 'Snoopy.class.php';
$snoopy=new Snoopy;
$snoopy->fetchtext("http://www.phpernote.com");
echo $snoopy->results;

（2）抓取php程序员的笔记网站首页的页面的所有链接

<?php
include 'Snoopy.class.php';
$snoopy=new Snoopy;
$snoopy->fetchlinks("http://www.phpernote.com");
print_r($snoopy->results);

（3）获取登陆人人网需要发送什么字段，目标地址是什么

<?php
include 'Snoopy.class.php';
$snoopy=new Snoopy;
$snoopy->fetchform("http://www.renren.com/PLogin.do");
print_r($snoopy->results);

（4）模拟登陆人人网

<?php
set_time_limit(0);
require "Snoopy.class.php";
$snoopy=new Snoopy();
$snoopy->referer='http://www.renren.com/';
$snoopy->agent="Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20100101 Firefox/22.0";
$submit_vars['email'] ='登陆账号';
$submit_vars['password'] ='登陆密码';
$url='http://www.renren.com/PLogin.do';//登陆数据提交的URL地址
$snoopy->submit($url,$submit_vars);
$snoopy->fetch("http://www.renren.com/");//希望获取的页面数据
echo $snoopy->results;//www.phpernote.com