1. 项目概述与核心价值最近在整理个人素材库发现很多零散的图片资源分散在各个网站上手动一张张右键另存为不仅效率低下还容易遗漏。这让我想起了几年前刚开始接触Python时第一个让我感到“自动化”魅力的项目——用爬虫批量抓取网页图片。时至今日这依然是Python入门后最具实用价值的练手项目之一它能让你立刻感受到代码带来的生产力提升。无论是想收集某个摄影网站的作品集、某个电商平台的产品图还是某个壁纸站的资源一个简单的爬虫脚本就能帮你搞定把时间和精力从重复劳动中解放出来。这个项目的核心就是利用Python模拟浏览器行为自动访问目标网页解析出其中所有的图片链接然后依次将这些图片文件下载并保存到你的本地硬盘。听起来简单但其中涉及了网络请求、HTML解析、文件操作等多个编程基础知识点是串联理论知识与实践应用的绝佳桥梁。对于初学者它能帮你巩固requests、BeautifulSoup、os等库的使用对于有一定经验的开发者则可以深入探索反爬策略、异步下载、分布式调度等进阶话题。接下来我将以一个具体的案例手把手拆解从环境准备到代码实现再到问题排查的完整流程并分享一些我踩过坑后才总结出的实战经验。2. 核心工具选型与环境搭建工欲善其事必先利其器。在开始写代码之前我们需要准备好趁手的工具。整个项目的核心依赖可以概括为“一个请求库、一个解析库、一个运行环境”。2.1 Python解释器与包管理首先确保你的电脑上安装了Python。我强烈推荐使用Python 3.7及以上版本因为它们在异步支持和库的兼容性上更好。你可以从Python官网下载安装包安装时务必勾选“Add Python to PATH”选项这样就能在命令行中直接使用python和pip命令了。安装完成后打开终端Windows上是CMD或PowerShellMac/Linux上是Terminal输入python --version检查是否安装成功。接下来我们需要安装项目所需的第三方库。Python强大的生态就体现在这里我们不需要从零开始写网络请求和解析的代码直接用现成的轮子。2.2 第三方库详解与安装我们将主要使用两个库requests这是Python中最简单易用的HTTP库。它的API设计非常人性化让发送HTTP请求变得像访问字典一样简单。相比于Python自带的urllibrequests的代码更简洁功能也更强大比如自动处理连接池、会话保持、SSL验证等。BeautifulSoup4(bs4)这是一个从HTML或XML文件中提取数据的Python库。它能够根据你的指令快速定位到网页中特定的标签如img并提取出其中的属性如src链接。它支持多种解析器我们通常搭配lxml解析器使用速度更快。安装命令非常简单在终端中一行搞定pip install requests beautifulsoup4 lxml这里一起安装了lxml它是BeautifulSoup的一个高性能解析器后端。安装过程如果遇到网络慢的问题可以考虑使用国内的镜像源例如清华源pip install requests beautifulsoup4 lxml -i https://pypi.tuna.tsinghua.edu.cn/simple。注意有些教程可能会提到urllib但对于新手而言requests的学习曲线平缓得多代码可读性也更强。在入门阶段我们追求的是快速实现功能、建立信心requests是不二之选。3. 爬虫核心逻辑与代码拆解理解了工具我们就可以开始构思爬虫的核心逻辑了。整个过程可以抽象为一个清晰的流水线发起请求 - 获取响应 - 解析内容 - 提取链接 - 下载保存。下面我们用一个实际的例子抓取某个公开的壁纸网站例如一个假设的、内容可自由抓取的图片展示站的图片来一步步实现。3.1 第一步发起请求与获取网页源代码任何爬虫开始的第一步都是获取目标网页的完整HTML代码。这就像你打开浏览器输入网址后按下回车看到的那一堆“源代码”。import requests from bs4 import BeautifulSoup import os import time # 目标网页URL url ‘https://example-wallpapers.com/landscape‘ # 请替换为实际可访问的、允许爬取的图片网站 # 设置请求头模拟浏览器访问这是绕过简单反爬的基础 headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘ } try: # 发送GET请求 response requests.get(url, headersheaders) # 检查请求是否成功状态码200表示成功 response.raise_for_status() # 设置正确的编码避免中文乱码 response.encoding response.apparent_encoding html_content response.text print(‘网页源代码获取成功‘) except requests.exceptions.RequestException as e: print(f‘请求网页失败: {e}‘) exit()关键点解析请求头Headers这是爬虫与反爬虫斗争的第一道战线。服务器通过User-Agent来判断访问者是谁。如果我们不设置默认的User-Agent会是类似python-requests/2.28.1这等于直接告诉网站“我是爬虫”。因此我们需要伪装成一个常见的浏览器。上面的User-Agent只是一个例子你可以在浏览器的开发者工具F12的Network标签页里找到你自己浏览器真实的User-Agent。异常处理网络请求充满不确定性服务器可能宕机、链接可能超时。使用try...except和raise_for_status()能确保在请求失败时程序不会崩溃而是优雅地报错并退出这是编写健壮代码的好习惯。编码response.apparent_encoding会让requests库去猜测网页的正确编码对于中文网站尤其重要能有效避免乱码。3.2 第二步解析HTML与定位图片链接拿到HTML源码后它是一长串混杂着标签、属性和文本的字符串。我们需要从中“淘”出图片的URL。图片在HTML中通常由img标签表示图片的地址就在src属性里。# 使用BeautifulSoup解析HTML指定使用‘lxml‘解析器 soup BeautifulSoup(html_content, ‘lxml‘) # 查找所有的图片标签。注意有些图片可能藏在‘data-src‘等懒加载属性中 img_tags soup.find_all(‘img‘) # 准备一个列表来存储图片的URL img_urls [] for img in img_tags: # 优先获取‘src‘属性 img_url img.get(‘src‘) # 如果‘src‘为空或不存在尝试获取‘data-src‘常见于懒加载图片 if not img_url: img_url img.get(‘data-src‘) if img_url: # 处理相对路径如果链接不是以http/https开头需要拼接上基础URL if img_url.startswith(‘//‘): img_url ‘https:‘ img_url elif img_url.startswith(‘/‘): img_url ‘https://example-wallpapers.com‘ img_url # 拼接基地址 elif not img_url.startswith(‘http‘): # 其他形式的相对路径简单处理为拼接复杂情况需用urljoin img_url url ‘/‘ img_url if url.endswith(‘/‘) else url ‘/‘ img_url img_urls.append(img_url) print(f‘找到图片链接: {img_url}‘) print(f‘共找到 {len(img_urls)} 个图片链接。‘)关键点解析find_all(‘img‘)这是BeautifulSoup的核心方法之一它会返回一个包含所有img标签的列表。懒加载Lazy Load现代网站为了优化性能大量使用懒加载技术。图片初始的src属性可能是一个占位图真正的图片链接藏在># 创建保存图片的目录 save_dir ‘downloaded_images‘ if not os.path.exists(save_dir): os.makedirs(save_dir) print(f‘创建目录: {save_dir}‘) # 遍历图片URL列表进行下载 for i, img_url in enumerate(img_urls): try: # 再次发送请求获取图片二进制内容 img_response requests.get(img_url, headersheaders, streamTrue) # streamTrue用于大文件 img_response.raise_for_status() # 从URL中提取图片文件名。如果URL中包含查询参数需要分割。 # 例如https://.../image.jpg?width800 - 取‘image.jpg‘ filename os.path.basename(img_url).split(‘?‘)[0] # 如果文件名无效比如URL以‘/‘结尾则用索引命名 if not filename or ‘.‘ not in filename: filename f‘image_{i1}.jpg‘ # 默认用jpg实际可根据Content-Type判断 # 完整的本地文件路径 filepath os.path.join(save_dir, filename) # 以二进制写入模式保存图片 with open(filepath, ‘wb‘) as f: # 使用iter_content分块写入节省内存适合大图片 for chunk in img_response.iter_content(chunk_size8192): if chunk: f.write(chunk) print(f‘[{i1}/{len(img_urls)}] 已保存: {filepath}‘) # 礼貌性延迟避免对服务器造成过大压力也是规避反爬的简单措施 time.sleep(0.5) except Exception as e: print(f‘下载失败 [{img_url}]: {e}‘) continue # 跳过当前图片继续下载下一个 print(‘所有图片下载完成‘)关键点解析streamTrue在请求图片时设置这个参数非常重要。它不会立即将整个图片内容加载到内存而是以流的方式处理。当我们使用iter_content()分块读取和写入时即使下载几百MB的大图也不会撑爆内存。文件名处理直接从URL截取文件名可能包含查询参数?后面的部分需要用split(‘?‘)[0]去除。同时要做好兜底处理防止生成空文件名。分块写入for chunk in img_response.iter_content(chunk_size8192):这行代码是高效下载文件的关键。它每次只读取一小块数据这里是8KB到内存并写入硬盘循环直到文件下载完成。延迟time.sleep在循环中插入短暂的延迟是网络爬虫的基本礼仪。过于频繁的请求会被服务器视为攻击可能导致你的IP被暂时封禁。0.5到1秒的延迟是一个比较友好的区间。4. 功能增强与实战优化基础的爬虫已经能工作了但在实际项目中我们总会遇到更多需求。下面分享几个让爬虫更健壮、更实用的增强技巧。4.1 处理动态加载内容初级方案很多现代网站尤其是单页应用的图片是通过JavaScript动态加载的直接拿到的初始HTML里没有图片链接。对于这种情况有几种应对策略分析网络请求打开浏览器的开发者工具F12切换到Network网络标签页然后刷新页面或滚动触发图片加载。在请求列表中筛选XHR或Fetch类型的请求寻找返回图片数据或图片链接列表的API接口。这种接口返回的通常是结构清晰的JSON数据比解析HTML更简单。然后我们的爬虫就可以直接模拟请求这个API接口。实操在Network里找到类似https://api.example.com/getImages?page1的请求查看它的请求头特别是可能需要Cookie、Authorization、请求方法GET/POST。然后在Python代码中用requests以同样的方式去请求这个URL解析返回的JSON。使用Selenium重量级方案如果网站没有暴露清晰的API或者交互逻辑非常复杂可以考虑使用Selenium。它能控制一个真实的浏览器如Chrome执行JavaScript等待页面完全渲染后再获取HTML。但这会大大增加资源消耗和代码复杂度一般作为备选。# 示例使用Selenium获取渲染后的页面源码 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC options webdriver.ChromeOptions() options.add_argument(‘--headless‘) # 无头模式不显示浏览器窗口 driver webdriver.Chrome(optionsoptions) driver.get(url) # 等待某个图片元素加载出来 wait WebDriverWait(driver, 10) wait.until(EC.presence_of_element_located((By.TAG_NAME, ‘img‘))) html_content driver.page_source driver.quit() # 接下来再用BeautifulSoup解析html_content4.2 实现分页爬取图片网站通常有很多页。我们需要让爬虫自动翻页爬取所有页面的图片。策略观察目标网站的分页规则。规则一URL包含页码。例如https://example.com/page/1,.../page/2。我们只需要用一个循环改变URL中的页码即可。base_url ‘https://example.com/page/{}‘ for page in range(1, 11): # 假设爬取前10页 url base_url.format(page) # 然后调用之前写的抓取单页的函数 crawl_single_page(url) time.sleep(1) # 页间延迟可以稍长规则二“加载更多”按钮。这通常是一个AJAX请求。和上面“分析网络请求”的方法一样在开发者工具中找到点击“加载更多”时触发的API请求然后模拟它。这个请求往往需要携带上一页的某个标识如last_id。4.3 图片去重与分类保存下载多了难免会有重复图片或者希望按主题分类保存。去重一个简单有效的方法是对图片内容计算哈希值如MD5。即使文件名不同内容相同的图片哈希值也一样。可以在保存前计算哈希并与已保存图片的哈希记录对比。import hashlib def get_file_md5(file_path): with open(file_path, ‘rb‘) as f: return hashlib.md5(f.read()).hexdigest() # 在保存前可以先将图片内容读入内存计算哈希小图适用 # 或者先保存到一个临时文件计算哈希后再决定是否保留和重命名分类保存可以从图片URL的路径、网页的标题、或者通过其他接口获取的标签信息中提取分类。然后在本地创建对应的子文件夹。# 假设我们从某个数据字段中获得了分类名 category_name category_dir os.path.join(save_dir, category_name) if not os.path.exists(category_dir): os.makedirs(category_dir) filepath os.path.join(category_dir, filename)5. 常见问题排查与反爬应对策略在实际爬取过程中你几乎一定会遇到各种问题。下面是我总结的一些常见“坑”及解决办法。5.1 请求被拒绝403 Forbidden这是最常见的反爬措施。检查请求头确保User-Agent设置正确且模拟的是真实浏览器。有时还需要添加Referer来源页和Accept等头信息。这些都可以从浏览器开发者工具中复制。使用会话Sessionrequests.Session()可以保持Cookie模拟登录后的状态对于需要登录才能访问的页面至关重要。session requests.Session() # 可以先POST请求登录如果需要 # login_data {‘username‘: ‘...‘, ‘password‘: ‘...‘} # session.post(login_url, datalogin_data) # 然后用session去get目标页 response session.get(target_url, headersheaders)IP被封如果单个IP请求过快、过频容易被封。解决方案包括1) 大幅增加请求延迟time.sleep2) 使用代理IP池进阶内容涉及付费代理服务或自建代理。5.2 抓取到的链接是缩略图或模糊图有些网站为了节省流量在列表页展示的是小图缩略图点进去才是原图。解决方案需要分析图片详情页的URL规律。通常列表页的图片链接会指向一个详情页而不是图片本身。你需要先爬取所有详情页的链接再进入每个详情页去抓取高清大图的URL。这相当于进行两层爬取。5.3 下载的图片文件损坏或无法打开检查响应内容类型在保存文件前可以检查响应头的Content-Type确保它是图片格式如image/jpeg,image/png。content_type img_response.headers.get(‘Content-Type‘) if ‘image‘ not in content_type: print(f‘警告: {img_url} 返回的内容不是图片 ({content_type})跳过。‘) continue根据Content-Type确定文件后缀与其从URL猜后缀不如根据Content-Type来定更准确。ext_map {‘image/jpeg‘: ‘.jpg‘, ‘image/png‘: ‘.png‘, ‘image/gif‘: ‘.gif‘, ‘image/webp‘: ‘.webp‘} ext ext_map.get(content_type, ‘.jpg‘) # 默认jpg filename f‘image_{i1}{ext}‘确保以二进制模式写入打开文件时一定要用‘wb‘二进制写入模式而不是‘w‘文本写入。5.4 程序运行缓慢或内存占用高启用流式下载如前所述务必使用streamTrue和iter_content。考虑异步爬虫当需要下载大量图片时同步请求一个接一个会非常慢。可以使用aiohttp和asyncio库实现异步并发下载速度能有数量级的提升。但异步编程复杂度较高适合有一定基础后学习。控制并发数即使是异步也不要一次性发起成百上千个请求这既不礼貌也容易被封。可以使用信号量asyncio.Semaphore限制最大并发数。6. 项目总结与扩展思考回顾整个项目我们从最简单的单页图片抓取开始逐步构建了一个具备基本健壮性的爬虫。它涵盖了网络爬虫最核心的步骤请求、解析、提取、存储。在这个过程中你不仅学会了requests和BeautifulSoup的基本用法更关键的是掌握了分析问题、定位数据、处理异常的思维方法。这个基础框架的扩展性非常强。你可以很容易地修改它来爬取其他类型的数据比如爬取文本新闻将查找img标签改为查找文章标题和内容的标签如h1,div class“content”。爬取结构化数据商品信息同时查找商品名称可能在h3里、价格可能在span class“price”里、图片然后将这些信息组合成一个字典最后保存为JSON或CSV文件。爬取链接实现简单爬虫从当前页解析出所有站内链接a标签的href然后递归或按广度优先策略去爬取这些新链接实现对整个网站的遍历。最后也是最重要的提醒务必遵守法律法规和网站的Robots协议。在爬取任何网站前请查看其robots.txt文件通常在网站根目录如https://example.com/robots.txt尊重其中定义的爬取规则。只爬取公开的、允许爬取的数据用于个人学习和研究。避免对目标网站服务器造成过大压力控制请求频率。商业用途或大规模爬取前请务必先联系网站所有者获取许可。技术是一把双刃剑用它来创造价值而不是带来麻烦。
Python爬虫实战：从零构建图片批量下载工具
1. 项目概述与核心价值最近在整理个人素材库发现很多零散的图片资源分散在各个网站上手动一张张右键另存为不仅效率低下还容易遗漏。这让我想起了几年前刚开始接触Python时第一个让我感到“自动化”魅力的项目——用爬虫批量抓取网页图片。时至今日这依然是Python入门后最具实用价值的练手项目之一它能让你立刻感受到代码带来的生产力提升。无论是想收集某个摄影网站的作品集、某个电商平台的产品图还是某个壁纸站的资源一个简单的爬虫脚本就能帮你搞定把时间和精力从重复劳动中解放出来。这个项目的核心就是利用Python模拟浏览器行为自动访问目标网页解析出其中所有的图片链接然后依次将这些图片文件下载并保存到你的本地硬盘。听起来简单但其中涉及了网络请求、HTML解析、文件操作等多个编程基础知识点是串联理论知识与实践应用的绝佳桥梁。对于初学者它能帮你巩固requests、BeautifulSoup、os等库的使用对于有一定经验的开发者则可以深入探索反爬策略、异步下载、分布式调度等进阶话题。接下来我将以一个具体的案例手把手拆解从环境准备到代码实现再到问题排查的完整流程并分享一些我踩过坑后才总结出的实战经验。2. 核心工具选型与环境搭建工欲善其事必先利其器。在开始写代码之前我们需要准备好趁手的工具。整个项目的核心依赖可以概括为“一个请求库、一个解析库、一个运行环境”。2.1 Python解释器与包管理首先确保你的电脑上安装了Python。我强烈推荐使用Python 3.7及以上版本因为它们在异步支持和库的兼容性上更好。你可以从Python官网下载安装包安装时务必勾选“Add Python to PATH”选项这样就能在命令行中直接使用python和pip命令了。安装完成后打开终端Windows上是CMD或PowerShellMac/Linux上是Terminal输入python --version检查是否安装成功。接下来我们需要安装项目所需的第三方库。Python强大的生态就体现在这里我们不需要从零开始写网络请求和解析的代码直接用现成的轮子。2.2 第三方库详解与安装我们将主要使用两个库requests这是Python中最简单易用的HTTP库。它的API设计非常人性化让发送HTTP请求变得像访问字典一样简单。相比于Python自带的urllibrequests的代码更简洁功能也更强大比如自动处理连接池、会话保持、SSL验证等。BeautifulSoup4(bs4)这是一个从HTML或XML文件中提取数据的Python库。它能够根据你的指令快速定位到网页中特定的标签如img并提取出其中的属性如src链接。它支持多种解析器我们通常搭配lxml解析器使用速度更快。安装命令非常简单在终端中一行搞定pip install requests beautifulsoup4 lxml这里一起安装了lxml它是BeautifulSoup的一个高性能解析器后端。安装过程如果遇到网络慢的问题可以考虑使用国内的镜像源例如清华源pip install requests beautifulsoup4 lxml -i https://pypi.tuna.tsinghua.edu.cn/simple。注意有些教程可能会提到urllib但对于新手而言requests的学习曲线平缓得多代码可读性也更强。在入门阶段我们追求的是快速实现功能、建立信心requests是不二之选。3. 爬虫核心逻辑与代码拆解理解了工具我们就可以开始构思爬虫的核心逻辑了。整个过程可以抽象为一个清晰的流水线发起请求 - 获取响应 - 解析内容 - 提取链接 - 下载保存。下面我们用一个实际的例子抓取某个公开的壁纸网站例如一个假设的、内容可自由抓取的图片展示站的图片来一步步实现。3.1 第一步发起请求与获取网页源代码任何爬虫开始的第一步都是获取目标网页的完整HTML代码。这就像你打开浏览器输入网址后按下回车看到的那一堆“源代码”。import requests from bs4 import BeautifulSoup import os import time # 目标网页URL url ‘https://example-wallpapers.com/landscape‘ # 请替换为实际可访问的、允许爬取的图片网站 # 设置请求头模拟浏览器访问这是绕过简单反爬的基础 headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘ } try: # 发送GET请求 response requests.get(url, headersheaders) # 检查请求是否成功状态码200表示成功 response.raise_for_status() # 设置正确的编码避免中文乱码 response.encoding response.apparent_encoding html_content response.text print(‘网页源代码获取成功‘) except requests.exceptions.RequestException as e: print(f‘请求网页失败: {e}‘) exit()关键点解析请求头Headers这是爬虫与反爬虫斗争的第一道战线。服务器通过User-Agent来判断访问者是谁。如果我们不设置默认的User-Agent会是类似python-requests/2.28.1这等于直接告诉网站“我是爬虫”。因此我们需要伪装成一个常见的浏览器。上面的User-Agent只是一个例子你可以在浏览器的开发者工具F12的Network标签页里找到你自己浏览器真实的User-Agent。异常处理网络请求充满不确定性服务器可能宕机、链接可能超时。使用try...except和raise_for_status()能确保在请求失败时程序不会崩溃而是优雅地报错并退出这是编写健壮代码的好习惯。编码response.apparent_encoding会让requests库去猜测网页的正确编码对于中文网站尤其重要能有效避免乱码。3.2 第二步解析HTML与定位图片链接拿到HTML源码后它是一长串混杂着标签、属性和文本的字符串。我们需要从中“淘”出图片的URL。图片在HTML中通常由img标签表示图片的地址就在src属性里。# 使用BeautifulSoup解析HTML指定使用‘lxml‘解析器 soup BeautifulSoup(html_content, ‘lxml‘) # 查找所有的图片标签。注意有些图片可能藏在‘data-src‘等懒加载属性中 img_tags soup.find_all(‘img‘) # 准备一个列表来存储图片的URL img_urls [] for img in img_tags: # 优先获取‘src‘属性 img_url img.get(‘src‘) # 如果‘src‘为空或不存在尝试获取‘data-src‘常见于懒加载图片 if not img_url: img_url img.get(‘data-src‘) if img_url: # 处理相对路径如果链接不是以http/https开头需要拼接上基础URL if img_url.startswith(‘//‘): img_url ‘https:‘ img_url elif img_url.startswith(‘/‘): img_url ‘https://example-wallpapers.com‘ img_url # 拼接基地址 elif not img_url.startswith(‘http‘): # 其他形式的相对路径简单处理为拼接复杂情况需用urljoin img_url url ‘/‘ img_url if url.endswith(‘/‘) else url ‘/‘ img_url img_urls.append(img_url) print(f‘找到图片链接: {img_url}‘) print(f‘共找到 {len(img_urls)} 个图片链接。‘)关键点解析find_all(‘img‘)这是BeautifulSoup的核心方法之一它会返回一个包含所有img标签的列表。懒加载Lazy Load现代网站为了优化性能大量使用懒加载技术。图片初始的src属性可能是一个占位图真正的图片链接藏在># 创建保存图片的目录 save_dir ‘downloaded_images‘ if not os.path.exists(save_dir): os.makedirs(save_dir) print(f‘创建目录: {save_dir}‘) # 遍历图片URL列表进行下载 for i, img_url in enumerate(img_urls): try: # 再次发送请求获取图片二进制内容 img_response requests.get(img_url, headersheaders, streamTrue) # streamTrue用于大文件 img_response.raise_for_status() # 从URL中提取图片文件名。如果URL中包含查询参数需要分割。 # 例如https://.../image.jpg?width800 - 取‘image.jpg‘ filename os.path.basename(img_url).split(‘?‘)[0] # 如果文件名无效比如URL以‘/‘结尾则用索引命名 if not filename or ‘.‘ not in filename: filename f‘image_{i1}.jpg‘ # 默认用jpg实际可根据Content-Type判断 # 完整的本地文件路径 filepath os.path.join(save_dir, filename) # 以二进制写入模式保存图片 with open(filepath, ‘wb‘) as f: # 使用iter_content分块写入节省内存适合大图片 for chunk in img_response.iter_content(chunk_size8192): if chunk: f.write(chunk) print(f‘[{i1}/{len(img_urls)}] 已保存: {filepath}‘) # 礼貌性延迟避免对服务器造成过大压力也是规避反爬的简单措施 time.sleep(0.5) except Exception as e: print(f‘下载失败 [{img_url}]: {e}‘) continue # 跳过当前图片继续下载下一个 print(‘所有图片下载完成‘)关键点解析streamTrue在请求图片时设置这个参数非常重要。它不会立即将整个图片内容加载到内存而是以流的方式处理。当我们使用iter_content()分块读取和写入时即使下载几百MB的大图也不会撑爆内存。文件名处理直接从URL截取文件名可能包含查询参数?后面的部分需要用split(‘?‘)[0]去除。同时要做好兜底处理防止生成空文件名。分块写入for chunk in img_response.iter_content(chunk_size8192):这行代码是高效下载文件的关键。它每次只读取一小块数据这里是8KB到内存并写入硬盘循环直到文件下载完成。延迟time.sleep在循环中插入短暂的延迟是网络爬虫的基本礼仪。过于频繁的请求会被服务器视为攻击可能导致你的IP被暂时封禁。0.5到1秒的延迟是一个比较友好的区间。4. 功能增强与实战优化基础的爬虫已经能工作了但在实际项目中我们总会遇到更多需求。下面分享几个让爬虫更健壮、更实用的增强技巧。4.1 处理动态加载内容初级方案很多现代网站尤其是单页应用的图片是通过JavaScript动态加载的直接拿到的初始HTML里没有图片链接。对于这种情况有几种应对策略分析网络请求打开浏览器的开发者工具F12切换到Network网络标签页然后刷新页面或滚动触发图片加载。在请求列表中筛选XHR或Fetch类型的请求寻找返回图片数据或图片链接列表的API接口。这种接口返回的通常是结构清晰的JSON数据比解析HTML更简单。然后我们的爬虫就可以直接模拟请求这个API接口。实操在Network里找到类似https://api.example.com/getImages?page1的请求查看它的请求头特别是可能需要Cookie、Authorization、请求方法GET/POST。然后在Python代码中用requests以同样的方式去请求这个URL解析返回的JSON。使用Selenium重量级方案如果网站没有暴露清晰的API或者交互逻辑非常复杂可以考虑使用Selenium。它能控制一个真实的浏览器如Chrome执行JavaScript等待页面完全渲染后再获取HTML。但这会大大增加资源消耗和代码复杂度一般作为备选。# 示例使用Selenium获取渲染后的页面源码 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC options webdriver.ChromeOptions() options.add_argument(‘--headless‘) # 无头模式不显示浏览器窗口 driver webdriver.Chrome(optionsoptions) driver.get(url) # 等待某个图片元素加载出来 wait WebDriverWait(driver, 10) wait.until(EC.presence_of_element_located((By.TAG_NAME, ‘img‘))) html_content driver.page_source driver.quit() # 接下来再用BeautifulSoup解析html_content4.2 实现分页爬取图片网站通常有很多页。我们需要让爬虫自动翻页爬取所有页面的图片。策略观察目标网站的分页规则。规则一URL包含页码。例如https://example.com/page/1,.../page/2。我们只需要用一个循环改变URL中的页码即可。base_url ‘https://example.com/page/{}‘ for page in range(1, 11): # 假设爬取前10页 url base_url.format(page) # 然后调用之前写的抓取单页的函数 crawl_single_page(url) time.sleep(1) # 页间延迟可以稍长规则二“加载更多”按钮。这通常是一个AJAX请求。和上面“分析网络请求”的方法一样在开发者工具中找到点击“加载更多”时触发的API请求然后模拟它。这个请求往往需要携带上一页的某个标识如last_id。4.3 图片去重与分类保存下载多了难免会有重复图片或者希望按主题分类保存。去重一个简单有效的方法是对图片内容计算哈希值如MD5。即使文件名不同内容相同的图片哈希值也一样。可以在保存前计算哈希并与已保存图片的哈希记录对比。import hashlib def get_file_md5(file_path): with open(file_path, ‘rb‘) as f: return hashlib.md5(f.read()).hexdigest() # 在保存前可以先将图片内容读入内存计算哈希小图适用 # 或者先保存到一个临时文件计算哈希后再决定是否保留和重命名分类保存可以从图片URL的路径、网页的标题、或者通过其他接口获取的标签信息中提取分类。然后在本地创建对应的子文件夹。# 假设我们从某个数据字段中获得了分类名 category_name category_dir os.path.join(save_dir, category_name) if not os.path.exists(category_dir): os.makedirs(category_dir) filepath os.path.join(category_dir, filename)5. 常见问题排查与反爬应对策略在实际爬取过程中你几乎一定会遇到各种问题。下面是我总结的一些常见“坑”及解决办法。5.1 请求被拒绝403 Forbidden这是最常见的反爬措施。检查请求头确保User-Agent设置正确且模拟的是真实浏览器。有时还需要添加Referer来源页和Accept等头信息。这些都可以从浏览器开发者工具中复制。使用会话Sessionrequests.Session()可以保持Cookie模拟登录后的状态对于需要登录才能访问的页面至关重要。session requests.Session() # 可以先POST请求登录如果需要 # login_data {‘username‘: ‘...‘, ‘password‘: ‘...‘} # session.post(login_url, datalogin_data) # 然后用session去get目标页 response session.get(target_url, headersheaders)IP被封如果单个IP请求过快、过频容易被封。解决方案包括1) 大幅增加请求延迟time.sleep2) 使用代理IP池进阶内容涉及付费代理服务或自建代理。5.2 抓取到的链接是缩略图或模糊图有些网站为了节省流量在列表页展示的是小图缩略图点进去才是原图。解决方案需要分析图片详情页的URL规律。通常列表页的图片链接会指向一个详情页而不是图片本身。你需要先爬取所有详情页的链接再进入每个详情页去抓取高清大图的URL。这相当于进行两层爬取。5.3 下载的图片文件损坏或无法打开检查响应内容类型在保存文件前可以检查响应头的Content-Type确保它是图片格式如image/jpeg,image/png。content_type img_response.headers.get(‘Content-Type‘) if ‘image‘ not in content_type: print(f‘警告: {img_url} 返回的内容不是图片 ({content_type})跳过。‘) continue根据Content-Type确定文件后缀与其从URL猜后缀不如根据Content-Type来定更准确。ext_map {‘image/jpeg‘: ‘.jpg‘, ‘image/png‘: ‘.png‘, ‘image/gif‘: ‘.gif‘, ‘image/webp‘: ‘.webp‘} ext ext_map.get(content_type, ‘.jpg‘) # 默认jpg filename f‘image_{i1}{ext}‘确保以二进制模式写入打开文件时一定要用‘wb‘二进制写入模式而不是‘w‘文本写入。5.4 程序运行缓慢或内存占用高启用流式下载如前所述务必使用streamTrue和iter_content。考虑异步爬虫当需要下载大量图片时同步请求一个接一个会非常慢。可以使用aiohttp和asyncio库实现异步并发下载速度能有数量级的提升。但异步编程复杂度较高适合有一定基础后学习。控制并发数即使是异步也不要一次性发起成百上千个请求这既不礼貌也容易被封。可以使用信号量asyncio.Semaphore限制最大并发数。6. 项目总结与扩展思考回顾整个项目我们从最简单的单页图片抓取开始逐步构建了一个具备基本健壮性的爬虫。它涵盖了网络爬虫最核心的步骤请求、解析、提取、存储。在这个过程中你不仅学会了requests和BeautifulSoup的基本用法更关键的是掌握了分析问题、定位数据、处理异常的思维方法。这个基础框架的扩展性非常强。你可以很容易地修改它来爬取其他类型的数据比如爬取文本新闻将查找img标签改为查找文章标题和内容的标签如h1,div class“content”。爬取结构化数据商品信息同时查找商品名称可能在h3里、价格可能在span class“price”里、图片然后将这些信息组合成一个字典最后保存为JSON或CSV文件。爬取链接实现简单爬虫从当前页解析出所有站内链接a标签的href然后递归或按广度优先策略去爬取这些新链接实现对整个网站的遍历。最后也是最重要的提醒务必遵守法律法规和网站的Robots协议。在爬取任何网站前请查看其robots.txt文件通常在网站根目录如https://example.com/robots.txt尊重其中定义的爬取规则。只爬取公开的、允许爬取的数据用于个人学习和研究。避免对目标网站服务器造成过大压力控制请求频率。商业用途或大规模爬取前请务必先联系网站所有者获取许可。技术是一把双刃剑用它来创造价值而不是带来麻烦。