PHP抓取网站图片脚本

2024-09-08 14:48
文章标签 抓取 网站 php 图片 脚本

本文主要是介绍PHP抓取网站图片脚本,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

方法一:

<?php
header("Content-type:image/jpeg"); 
class download_image{function read_url($str) { $file=fopen($str,"r");$result = ''; while(!feof($file)) { $result.=fgets($file,9999); } fclose($file); return $result; } function save_img($str) { $result=$this->read_url($str); $result=str_replace("\"","",$result); $result=str_replace("\'","",$result); preg_match_all('/<img\ssrc=(http:\/\/.*?)(\s(.*?)>|>)/i',$result,$matches); foreach($matches[1] as $value) { echo $value."\n"; $this->GrabImage($value,$filename=""); } } // $url 是远程图片的完整URL地址,不能为空。 // $filename 是可选变量: 如果为空,本地文件名将基于时间和日期 // 自动生成. function GrabImage($url,$filename="") { if($url==""):return false;endif; $path="download/"; //指定存储文件夹 //若文件不存在,则创建; if(!file_exists($path)){ mkdir($path); } if($filename=="") { $ext=strrchr($url,"."); if($ext!=".gif" && $ext!=".jpg"):return false;endif; @$filename=$path.date("YHis").$ext; } ob_start(); readfile($url); $img = ob_get_contents(); ob_end_clean(); $size = strlen($img); $fp2=@fopen($filename, "a"); fwrite($fp2,$img); fclose($fp2); return $filename; }
}
$download_img=new download_image();
$download_img->save_img("http://www.jb51.net"); 
?>

方法一思路比较简单清晰,不过有个BUG,图片没有完全抓取,有时间再检查看!

方法二:

<?php
class download_image{//抓取图片的保存地址public $save_path;   //抓取图片的大小限制(单位:字节) 只抓比size比这个限制大的图片public $img_size=0; //定义一个静态数组,用于记录曾经抓取过的的超链接地址,避免重复抓取       public static $a_url_arr=array();/*** @param String $save_path    抓取图片的保存地址* @param Int    $img_size     */public function __construct($save_path,$img_size){$this->save_path=$save_path;$this->img_size=$img_size;if(!file_exists($save_path)){mkdir($save_path,0775);}}/*** 递归下载抓取首页及其子页面图片的方法  ( recursive 递归)* @param   String  $capture_url  用于抓取图片的网址*/public function recursive_download_images($capture_url){if (!in_array($capture_url,self::$a_url_arr)){   //没抓取过self::$a_url_arr[]=$capture_url;   //计入静态数组} else {   //抓取过,直接退出函数return;}$this->download_current_page_images($capture_url);  //下载当前页面的所有图片//用@屏蔽掉因为抓取地址无法读取导致的warning错误$content=@file_get_contents($capture_url); //匹配a标签href属性中?之前部分的正则$a_pattern = "|<a[^>]+href=['\" ]?([^ '\"?]+)['\" >]|U";   preg_match_all($a_pattern, $content, $a_out, PREG_SET_ORDER);$tmp_arr=array();  //定义一个数组,用于存放当前循环下抓取图片的超链接地址foreach ($a_out as $k => $v) {/*** 去除超链接中的 空'','#','/'和重复值  * 1: 超链接地址的值 不能等于当前抓取页面的url, 否则会陷入死循环* 2: 超链接为''或'#','/'也是本页面,这样也会陷入死循环,  * 3: 有时一个超连接地址在一个网页中会重复出现多次,如果不去除,会对一个子页面进行重复下载)*/if ( $v[1] && !in_array($v[1],self::$a_url_arr) &&!in_array($v[1],array('#','/',$capture_url) ) ) { $tmp_arr[]=$v[1];}}foreach ($tmp_arr as $k => $v){ //超链接路径地址if ( strpos($v, 'http://')!==false ){ //如果url包含http://,可以直接访问$a_url = $v;}else{   //否则证明是相对地址, 需要重新拼凑超链接的访问地址$domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);$a_url=$domain_url.$v;}$this->recursive_download_images($a_url);}}/*** 下载当前网页下的所有图片 * @param   String  $capture_url  用于抓取图片的网页地址* @return  Array   当前网页上所有图片img标签url地址的一个数组*/public function download_current_page_images($capture_url){$content=@file_get_contents($capture_url);   //屏蔽warning错误//匹配img标签src属性中?之前部分的正则$img_pattern = "|<img[^>]+src=['\" ]?([^ '\"?]+)['\" >]|U";   preg_match_all($img_pattern, $content, $img_out, PREG_SET_ORDER);$photo_num = count($img_out);//匹配到的图片数量echo $capture_url . "共找到 " . $photo_num . " 张图片\n";foreach ($img_out as $k => $v){$this->save_one_img($capture_url,$v[1]);}}/*** 保存单个图片的方法 * @param String $capture_url   用于抓取图片的网页地址* @param String $img_url       需要保存的图片的url*/public function save_one_img($capture_url,$img_url){//图片路径地址if ( strpos($img_url, 'http://')!==false ){ // $img_url = $img_url;}else{   $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);$img_url=$domain_url.$img_url;}           $pathinfo = pathinfo($img_url);    //获取图片路径信息        $pic_name=$pathinfo['basename'];   //获取图片的名字if (file_exists($this->save_path.$pic_name)){  //如果图片存在,证明已经被抓取过,退出函数echo $img_url.'该图片已经抓取过!'."\n"; return;}                //将图片内容读入一个字符串$img_data = @file_get_contents($img_url);   //屏蔽掉因为图片地址无法读取导致的warning错误if ( strlen($img_data) > $this->img_size ){   //下载size比限制大的图片$img_size = file_put_contents($this->save_path . $pic_name, $img_data);if ($img_size){echo $img_url.'图片保存成功!'."\n";} else {echo $img_url.'图片保存失败!'."\n";}} else {echo $img_url.'图片读取失败!'."\n";} } 
}
set_time_limit(120);     //设置脚本的最大执行时间  根据情况设置 
$download_img=new download_image('imgages/',0);   //实例化下载图片对象
//$download_img->recursive_download_images('http://www.oschina.net/');      //递归抓取图片方法
//$download_img->download_current_page_images($_POST['capture_url']);     //只抓取当前页面图片方法
$download_img->download_current_page_images('http://www.jb51.net');     //只抓取当前页面图片方法
?>

http://blog.csdn.net/china_skag/article/details/18452883
http://www.jb51.net/article/21738.htm

这篇关于PHP抓取网站图片脚本的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1148411

相关文章

使用Python将长图片分割为若干张小图片

《使用Python将长图片分割为若干张小图片》这篇文章主要为大家详细介绍了如何使用Python将长图片分割为若干张小图片,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. python需求的任务2. Python代码的实现3. 代码修改的位置4. 运行结果1. Python需求

解决Cron定时任务中Pytest脚本无法发送邮件的问题

《解决Cron定时任务中Pytest脚本无法发送邮件的问题》文章探讨解决在Cron定时任务中运行Pytest脚本时邮件发送失败的问题,先优化环境变量,再检查Pytest邮件配置,接着配置文件确保SMT... 目录引言1. 环境变量优化:确保Cron任务可以正确执行解决方案:1.1. 创建一个脚本1.2. 修

python写个唤醒睡眠电脑的脚本

《python写个唤醒睡眠电脑的脚本》这篇文章主要为大家详细介绍了如何使用python写个唤醒睡眠电脑的脚本,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 环境:win10python3.12问题描述:怎么用python写个唤醒睡眠电脑的脚本?解决方案:1.唤醒处于睡眠状

多模块的springboot项目发布指定模块的脚本方式

《多模块的springboot项目发布指定模块的脚本方式》该文章主要介绍了如何在多模块的SpringBoot项目中发布指定模块的脚本,作者原先的脚本会清理并编译所有模块,导致发布时间过长,通过简化脚本... 目录多模块的springboot项目发布指定模块的脚本1、不计成本地全部发布2、指定模块发布总结多模

shell脚本快速检查192.168.1网段ip是否在用的方法

《shell脚本快速检查192.168.1网段ip是否在用的方法》该Shell脚本通过并发ping命令检查192.168.1网段中哪些IP地址正在使用,脚本定义了网络段、超时时间和并行扫描数量,并使用... 目录脚本:检查 192.168.1 网段 IP 是否在用脚本说明使用方法示例输出优化建议总结检查 1

Linux使用nohup命令在后台运行脚本

《Linux使用nohup命令在后台运行脚本》在Linux或类Unix系统中,后台运行脚本是一项非常实用的技能,尤其适用于需要长时间运行的任务或服务,本文我们来看看如何使用nohup命令在后台... 目录nohup 命令简介基本用法输出重定向& 符号的作用后台进程的特点注意事项实际应用场景长时间运行的任务服

如何使用 Bash 脚本中的time命令来统计命令执行时间(中英双语)

《如何使用Bash脚本中的time命令来统计命令执行时间(中英双语)》本文介绍了如何在Bash脚本中使用`time`命令来测量命令执行时间,包括`real`、`user`和`sys`三个时间指标,... 使用 Bash 脚本中的 time 命令来统计命令执行时间在日常的开发和运维过程中,性能监控和优化是不

bat脚本启动git bash窗口,并执行命令方式

《bat脚本启动gitbash窗口,并执行命令方式》本文介绍了如何在Windows服务器上使用cmd启动jar包时出现乱码的问题,并提供了解决方法——使用GitBash窗口启动并设置编码,通过编写s... 目录一、简介二、使用说明2.1 start.BAT脚本2.2 参数说明2.3 效果总结一、简介某些情

使用 Python 和 LabelMe 实现图片验证码的自动标注功能

《使用Python和LabelMe实现图片验证码的自动标注功能》文章介绍了如何使用Python和LabelMe自动标注图片验证码,主要步骤包括图像预处理、OCR识别和生成标注文件,通过结合Pa... 目录使用 python 和 LabelMe 实现图片验证码的自动标注环境准备必备工具安装依赖实现自动标注核心

Java操作xls替换文本或图片的功能实现

《Java操作xls替换文本或图片的功能实现》这篇文章主要给大家介绍了关于Java操作xls替换文本或图片功能实现的相关资料,文中通过示例代码讲解了文件上传、文件处理和Excel文件生成,需要的朋友可... 目录准备xls模板文件:template.xls准备需要替换的图片和数据功能实现包声明与导入类声明与