1. 项目缘起从手动收藏到自动化归档作为一个经常需要找壁纸的程序员我收藏了不少壁纸网站其中就包括像jj20.com这样资源丰富的站点。手动一张张下载效率低不说还容易遗漏。更重要的是很多网站为了防止资源被批量抓取会设置一些反爬机制比如jj20.com就明确提示“本网站使用安全服务防护恶意自动程序”。这反而激起了我的兴趣如何用 Python 写一个既高效、又稳定还能绕过基础防护的壁纸爬取程序这不仅仅是写几行requests和BeautifulSoup那么简单它涉及到对网页结构的深度分析、请求策略的优化以及应对反爬的实战技巧。今天我就把这个项目的完整思路、代码实现和踩过的坑毫无保留地分享出来。无论你是刚入门 Python 爬虫的新手还是想了解如何应对简单反爬策略的同行这篇文章都能给你提供一套可直接复用的解决方案。2. 目标网站分析与爬虫策略制定在动手写代码之前花时间分析目标网站的结构和行为模式是决定爬虫成败的关键。盲目开始很容易陷入反复调试和请求被封禁的困境。2.1 网站结构与数据定位首先我们打开http://www.jj20.com/。这是一个典型的图片素材网站首页有各种分类如“风景”、“动漫”、“美女”等。我们的目标是爬取某个分类下的高清壁纸。分析列表页点击进入一个分类例如“风景壁纸”。观察浏览器地址栏URL 可能类似于http://www.jj20.com/bz/fj/。通过翻页我们发现 URL 规律明显通常是http://www.jj20.com/bz/fj/list_11_2.html这样的格式其中11可能是分类ID2是页码。这是爬虫获取所有壁纸列表链接的基础。分析详情页与图片地址点击列表中的一张壁纸进入详情页。这里才是我们的终极目标——找到高清原图的真实地址。按下F12打开开发者工具切换到Network(网络) 面板然后刷新页面。在加载的资源中过滤Img(图片) 类型寻找尺寸最大的那张图片。它的地址可能就是类似http://img.jj20.com/up/allimg/xxxx/xxxxxxx.jpg的格式。关键点在于详情页的HTML源码里显示的图片地址往往不是原图而是一个经过压缩或添加了水印的缩略图。真正的原图地址可能藏在JavaScript动态加载的数据里或者需要通过分析图片的src属性模式进行拼接。识别反爬机制在浏览过程中你可能会偶然看到“安全验证”页面提示“本网站使用安全服务防护恶意自动程序”。这通常意味着网站部署了基于请求频率、请求头完整性或Cookie/Session验证的防护。对于jj20.com初步观察发现如果短时间内请求过于频繁或使用非常规的User-Agent触发验证页面的概率会大大增加。2.2 核心爬取策略设计基于以上分析我制定了以下策略分步请求先爬取所有列表页收集详情页链接再逐个访问详情页获取原图地址。这样做虽然速度不是最快但将请求分散开更符合人类浏览习惯能有效降低被封风险。请求头伪装为每一个HTTP请求配置完整的、模拟真实浏览器的请求头Headers特别是User-Agent、Referer等字段。请求间隔在关键请求如翻页、进入详情页之间使用time.sleep()添加随机延时例如time.sleep(random.uniform(1, 3))避免高频访问。会话保持使用requests.Session()对象来发起所有请求。Session可以自动管理Cookies在一次会话中保持登录状态如果需要和某些验证信息比单次请求更稳定。异常处理与重试网络请求充满不确定性必须对可能出现的异常如连接超时、状态码非200、触发验证页面进行捕获并设计合理的重试逻辑。图片存储根据壁纸的分类、分辨率等属性在本地创建有结构的文件夹进行存储方便后续管理。3. 开发环境搭建与核心库选型工欲善其事必先利其器。一个清晰的环境和合适的工具库能让开发事半功倍。3.1 Python环境与IDE我使用的是Python 3.8的版本这个版本区间生态成熟兼容性好。集成开发环境IDE方面VSCode或PyCharm都是绝佳选择。VSCode轻量灵活配合Python插件和Pylance能获得很好的开发体验PyCharm则是专业为Python打造其代码提示、调试和项目管理功能更为强大。对于爬虫这类项目我更喜欢用PyCharm因为它对虚拟环境的管理和HTTP客户端测试工具可用于调试请求集成得更好。关于VSCode Python环境配置如果你选择VSCode确保安装了官方Python扩展。然后通过CtrlShiftP打开命令面板输入Python: Select Interpreter来选择或创建一个虚拟环境venv的解释器。这样项目的依赖就能与系统环境隔离。3.2 核心第三方库以下是本项目需要用到的库及其作用requestsHTTP库的“瑞士军刀”用于发送所有GET/POST请求。它比标准库的urllib更简洁易用。pip install requestsBeautifulSoup4 (bs4)HTML和XML解析库。当网页结构规整时用它来提取标签和数据非常方便直观。pip install beautifulsoup4lxml一个高性能的HTML/XML解析器。BeautifulSoup可以指定lxml作为其解析后端速度比默认的html.parser快很多。pip install lxmlfake-useragent一个用来随机生成真实浏览器User-Agent字符串的库。避免一直使用同一个UA被识别。pip install fake-useragent为什么选BeautifulSoup lxml而不是其他对于jj20.com这类静态内容为主的网站页面结构相对固定BeautifulSoup的CSS选择器或find方法足以应对学习曲线平缓。虽然PyQuery或parselScrapy用的也很强大但BeautifulSoup的文档和社区资源最丰富遇到问题更容易找到答案。lxml作为解析引擎保证了速度。4. 爬虫核心代码实现与逐行解析理论分析完毕现在进入实战编码环节。我会将整个爬虫分解为几个功能模块并详细解释每一行代码的意图。4.1 模块一请求会话与工具函数首先我们创建一个spider.py文件并导入必要的库同时初始化一个全局的请求会话和一些工具。import requests from bs4 import BeautifulSoup import time import random import os from fake_useragent import UserAgent import logging from urllib.parse import urljoin # 配置日志方便查看运行状态和错误 logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s: %(message)s) logger logging.getLogger(__name__) class WallpaperSpider: def __init__(self, base_urlhttp://www.jj20.com): self.base_url base_url self.session requests.Session() # 创建会话保持Cookies self.ua UserAgent() # 用于生成随机User-Agent # 初始化会话的请求头Referer先设为网站首页 self.session.headers.update({ Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, DNT: 1, Connection: keep-alive, Upgrade-Insecure-Requests: 1, Referer: self.base_url /, # 初始Referer })代码解析logging用于输出信息、警告和错误。在生产中可以将日志写入文件方便后续排查问题。UserAgent每次请求前我们会用self.ua.random来生成一个随机的User-Agent动态更新到会话头中。requests.Session()这是本爬虫稳定性的核心。它会在内部自动处理Cookies使得多次请求像是在同一个浏览器标签页中发生的一样。初始的headers我们预先设置了一些通用的、浏览器会发送的请求头。特别注意Referer很多网站会检查这个字段它表示请求是从哪个页面发起的。从一个详情页请求图片时将Referer设置为该详情页的URL会显得更“真实”。4.2 模块二获取列表页所有详情链接这个函数负责遍历某个分类下的所有列表页并提取出每一个壁纸详情页的链接。def get_detail_links_from_category(self, category_path, max_pages5): 根据分类路径获取前max_pages页的所有壁纸详情页链接 :param category_path: 分类路径如 /bz/fj/ :param max_pages: 最大爬取页数 :return: 详情页链接列表 detail_links [] for page in range(1, max_pages 1): # 构造列表页URL这里假设页码规律是 list_{id}_{page}.html # 需要根据实际网站结构调整 pattern list_url f{self.base_url}{category_path}list_11_{page}.html logger.info(f正在抓取列表页: {list_url}) try: # 动态更新本次请求的User-Agent headers {User-Agent: self.ua.random} # 使用会话发起请求 resp self.session.get(list_url, headersheaders, timeout10) resp.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 使用lxml解析器速度更快 soup BeautifulSoup(resp.text, lxml) # 关键步骤找到详情页链接的HTML模式 # 需要打开浏览器开发者工具查看列表页中一个壁纸项的HTML结构 # 假设每个壁纸项在一个class为‘item’的div里里面的a标签链接到详情页 items soup.find_all(div, class_item) # 这个选择器需要根据实际网站调整 for item in items: a_tag item.find(a) if a_tag and a_tag.get(href): # 拼接完整的详情页URL使用urljoin处理相对路径 detail_url urljoin(self.base_url, a_tag[href]) detail_links.append(detail_url) logger.debug(f找到详情页链接: {detail_url}) logger.info(f第{page}页完成找到{len(items)}个链接。) # 随机延时模拟人类浏览 time.sleep(random.uniform(2, 4)) except requests.exceptions.RequestException as e: logger.error(f请求列表页 {list_url} 失败: {e}) # 可以在这里加入重试逻辑 continue except Exception as e: logger.error(f解析列表页 {list_url} 时发生未知错误: {e}) continue logger.info(f共收集到 {len(detail_links)} 个详情页链接。) return detail_links实操心得与避坑点选择器 (selector) 的确定代码中的soup.find_all(div, class_item)是一个示例。你必须通过浏览器的“检查元素”功能亲自查看jj20.com列表页的真实HTML结构。可能是li标签也可能是div带有其他类名。找到包裹每个壁纸项的最小公共父元素及其特征是这一步成功的关键。urljoin的使用网页中的链接可能是相对路径如/bz/xxx/123.html或绝对路径。urljoin(base_url, href)能智能地拼接出完整的URL避免链接错误。异常处理网络请求可能因超时、连接拒绝、404等原因失败。用try...except包裹起来并记录错误日志可以让程序在遇到部分页面失败时继续运行而不是整体崩溃。延时策略time.sleep(random.uniform(2, 4))在每处理完一页后暂停。随机化延时时间比固定延时更难被检测。这个时间间隔可以根据实际情况调整在效率和安全性之间取得平衡。4.3 模块三从详情页提取高清图片地址这是最核心也最可能出问题的环节。我们需要从详情页的HTML或JavaScript数据中定位到最高清版本图片的URL。def get_image_url_from_detail(self, detail_url): 从壁纸详情页解析出高清图片的直连地址 :param detail_url: 详情页URL :return: 图片直连URL如果解析失败则返回None logger.info(f正在解析详情页: {detail_url}) try: # 更新Referer为当前详情页模拟从列表页点击进来的行为 headers { User-Agent: self.ua.random, Referer: detail_url # 重要很多图片服务器会校验Referer } resp self.session.get(detail_url, headersheaders, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.text, lxml) # 方法1尝试直接查找高清大图的img标签 # 通常高清图会在一个id或class比较特殊的div里或者img标签本身有‘original’、‘src’等属性 # 例如 img idbigImg src真实地址 high_res_img soup.find(img, idbigImg) if high_res_img and high_res_img.get(src): img_url urljoin(self.base_url, high_res_img[src]) logger.info(f通过ID选择器找到图片: {img_url}) return img_url # 方法2如果方法1不行可能图片地址在JavaScript变量或某个data属性中 # 例如 div>def download_image(self, img_url, save_dir, filenameNone): 下载图片并保存到本地 :param img_url: 图片直连URL :param save_dir: 保存目录 :param filename: 指定文件名如果为None则从URL或内容中提取 :return: 成功返回保存路径失败返回None if not img_url: return None # 确保保存目录存在 os.makedirs(save_dir, exist_okTrue) # 生成文件名 if not filename: # 从URL中提取文件名如果URL中包含查询参数需要分割 filename os.path.basename(img_url).split(?)[0] # 如果还是空的用时间戳 if not filename: filename f{int(time.time())}_{random.randint(1000, 9999)}.jpg # 确保文件名安全移除非法字符 filename .join(c for c in filename if c.isalnum() or c in (-, _, .)).rstrip() save_path os.path.join(save_dir, filename) # 检查文件是否已存在避免重复下载 if os.path.exists(save_path): logger.info(f文件已存在跳过下载: {save_path}) return save_path logger.info(f开始下载: {img_url}) try: # 下载图片时Referer设置为图片所在详情页的域名或路径有时是必须的 headers { User-Agent: self.ua.random, Referer: self.base_url # 或者可以尝试更具体的Referer } # streamTrue 以流式方式下载大文件避免内存占用过高 resp self.session.get(img_url, headersheaders, streamTrue, timeout30) resp.raise_for_status() # 从响应头中获取文件大小和类型可选 total_size int(resp.headers.get(content-length, 0)) # 检查Content-Type确认是图片 content_type resp.headers.get(content-type, ) if image not in content_type: logger.warning(f下载的内容不是图片 (Content-Type: {content_type})URL: {img_url}) # 可以尝试保存为其他格式或直接跳过 # return None # 以二进制写入模式保存图片 with open(save_path, wb) as f: # 如果知道文件大小可以显示进度可选 if total_size 0: f.write(resp.content) else: downloaded 0 for chunk in resp.iter_content(chunk_size8192): if chunk: f.write(chunk) downloaded len(chunk) # 可以在这里添加进度条显示例如每10%打印一次 # progress (downloaded / total_size) * 100 # if int(progress) % 10 0: # logger.info(f下载进度: {progress:.1f}%) logger.info(f图片保存成功: {save_path}) # 下载后也休息一下 time.sleep(random.uniform(0.5, 1.5)) return save_path except requests.exceptions.RequestException as e: logger.error(f下载图片失败 {img_url}: {e}) # 如果是因为网络问题可以加入重试机制 return None except IOError as e: logger.error(f保存图片文件失败 {save_path}: {e}) return None关键细节与优化流式下载 (streamTrue)对于大尺寸壁纸文件可能达到几兆甚至十几兆。使用streamTrue参数requests不会一次性将整个响应内容读入内存而是以数据块chunk的形式迭代读取写入文件。这对内存更友好也是下载大文件的推荐方式。文件名校验与生成从URL提取文件名时需要处理可能附带的查询参数?之后的部分。os.path.basename(img_url).split(?)[0]这个操作可以干净地获取主文件名。同时用列表推导式过滤掉文件名中的非法字符确保文件能安全创建在所有操作系统上。重复下载检查if os.path.exists(save_path):这一行检查可以避免在程序中断后重新运行时重复下载已成功的图片。内容类型检查检查Content-Type响应头是一个好习惯。如果服务器返回的不是image/jpeg,image/png等而是text/html比如一个错误页面或验证页面那么我们就知道这次请求可能出了问题没有拿到真正的图片数据。4.5 模块五主流程串联与执行最后我们将所有模块串联起来形成一个完整的工作流。def crawl_category(self, category_path, save_root_dirdownloads, max_pages3): 爬取一个分类的主流程 :param category_path: 分类路径 :param save_root_dir: 图片保存的根目录 :param max_pages: 最大爬取列表页数 logger.info(f开始爬取分类: {category_path}) # 1. 获取所有详情页链接 detail_links self.get_detail_links_from_category(category_path, max_pages) if not detail_links: logger.warning(未找到任何详情页链接爬取终止。) return # 2. 遍历每个详情页下载图片 success_count 0 fail_count 0 for idx, link in enumerate(detail_links, 1): logger.info(f处理进度: {idx}/{len(detail_links)}) # 获取图片URL img_url self.get_image_url_from_detail(link) if not img_url: logger.warning(f未能获取图片URL跳过: {link}) fail_count 1 continue # 创建分类子目录例如 downloads/风景/ category_name category_path.strip(/).split(/)[-1] or unknown save_dir os.path.join(save_root_dir, category_name) # 下载并保存图片 result self.download_image(img_url, save_dir) if result: success_count 1 else: fail_count 1 logger.info(f爬取完成成功: {success_count}, 失败: {fail_count}) # 主函数程序入口 if __name__ __main__: spider WallpaperSpider() # 示例爬取‘风景’分类的前2页 # 注意category_path 需要根据网站实际结构修改 spider.crawl_category(category_path/bz/fj/, max_pages2, save_root_dirjj20_wallpapers) # 可以依次爬取多个分类 # categories [/bz/fj/, /bz/dm/, /bz/mn/] # for cat in categories: # spider.crawl_category(category_pathcat, max_pages2) # # 爬完一个分类后可以休息久一点 # time.sleep(random.uniform(5, 10))运行与调整将上述所有代码块按顺序保存到一个py文件中。在文件末尾的__main__部分修改category_path为你实际分析出的分类路径。首次运行时建议将max_pages设为1或2进行小规模测试。运行程序观察日志输出。如果出现大量“无法找到图片地址”的警告就需要回到模块三使用之前提到的保存HTML的方法进行调试调整图片地址的提取逻辑。5. 高级话题应对反爬与策略优化当基础爬虫能运行后我们可能会遇到更严格的封锁。以下是几种进阶应对策略。5.1 识别与处理验证页面如果程序运行中突然开始收到非图片数据或者HTML内容里包含“安全验证”、“自动程序”等字样说明触发了反爬。应对策略立即检测在get_image_url_from_detail和download_image函数中在解析HTML或检查Content-Type之前可以先判断响应文本是否包含验证关键词。if 安全验证 in resp.text or 自动程序 in resp.text: logger.warning(f触发反爬验证页面URL: {resp.url}) # 1. 立即延长等待时间比如sleep 30秒 # 2. 可以考虑更换User-Agent甚至清空session的cookies重新开始 # 3. 将当前URL加入重试队列稍后再试 time.sleep(30) return None # 或 raise一个特定异常降低请求频率这是最有效的方法。进一步增加time.sleep的随机间隔范围尤其是在连续请求多个详情页之后可以模拟更长时间的“浏览”行为。使用代理IP池当单个IP地址的请求过于频繁时网站可能会封禁该IP。使用代理IP轮换是解决方案。你可以订阅一些代理IP服务或者在代码中集成像requests搭配proxies参数进行请求。proxies { http: http://your-proxy-ip:port, https: http://your-proxy-ip:port, } resp self.session.get(url, headersheaders, proxiesproxies, timeout10)注意免费代理IP大多不稳定商用代理服务需要成本。对于个人小规模爬取优先优化请求策略而非直接上代理。5.2 异步加速与断点续传当需要爬取大量数据时同步请求一个接一个会非常慢。我们可以使用asyncio和aiohttp库进行异步并发请求极大提升效率。但异步编程复杂度更高且对目标网站压力更大更容易触发反爬需谨慎使用。断点续传的思路是将成功下载的图片URL或详情页URL记录到一个文件如success.txt或数据库中。每次启动程序时先加载这个记录过滤掉已经成功的内容只爬取新的。这在我们代码中通过os.path.exists检查实现了文件层面的去重但对于URL列表还需要在程序开始时读取历史记录。5.3 道德与法律边界最后必须强调爬虫行为应遵守Robots协议通常位于网站域名/robots.txt尊重网站的资源和服务条款。本示例仅用于技术学习和研究请勿用于商业用途或对目标网站造成过大负荷。在运行爬虫前最好控制速率并在非高峰时段进行。
Python爬虫实战：高效抓取壁纸网站图片并应对反爬策略
1. 项目缘起从手动收藏到自动化归档作为一个经常需要找壁纸的程序员我收藏了不少壁纸网站其中就包括像jj20.com这样资源丰富的站点。手动一张张下载效率低不说还容易遗漏。更重要的是很多网站为了防止资源被批量抓取会设置一些反爬机制比如jj20.com就明确提示“本网站使用安全服务防护恶意自动程序”。这反而激起了我的兴趣如何用 Python 写一个既高效、又稳定还能绕过基础防护的壁纸爬取程序这不仅仅是写几行requests和BeautifulSoup那么简单它涉及到对网页结构的深度分析、请求策略的优化以及应对反爬的实战技巧。今天我就把这个项目的完整思路、代码实现和踩过的坑毫无保留地分享出来。无论你是刚入门 Python 爬虫的新手还是想了解如何应对简单反爬策略的同行这篇文章都能给你提供一套可直接复用的解决方案。2. 目标网站分析与爬虫策略制定在动手写代码之前花时间分析目标网站的结构和行为模式是决定爬虫成败的关键。盲目开始很容易陷入反复调试和请求被封禁的困境。2.1 网站结构与数据定位首先我们打开http://www.jj20.com/。这是一个典型的图片素材网站首页有各种分类如“风景”、“动漫”、“美女”等。我们的目标是爬取某个分类下的高清壁纸。分析列表页点击进入一个分类例如“风景壁纸”。观察浏览器地址栏URL 可能类似于http://www.jj20.com/bz/fj/。通过翻页我们发现 URL 规律明显通常是http://www.jj20.com/bz/fj/list_11_2.html这样的格式其中11可能是分类ID2是页码。这是爬虫获取所有壁纸列表链接的基础。分析详情页与图片地址点击列表中的一张壁纸进入详情页。这里才是我们的终极目标——找到高清原图的真实地址。按下F12打开开发者工具切换到Network(网络) 面板然后刷新页面。在加载的资源中过滤Img(图片) 类型寻找尺寸最大的那张图片。它的地址可能就是类似http://img.jj20.com/up/allimg/xxxx/xxxxxxx.jpg的格式。关键点在于详情页的HTML源码里显示的图片地址往往不是原图而是一个经过压缩或添加了水印的缩略图。真正的原图地址可能藏在JavaScript动态加载的数据里或者需要通过分析图片的src属性模式进行拼接。识别反爬机制在浏览过程中你可能会偶然看到“安全验证”页面提示“本网站使用安全服务防护恶意自动程序”。这通常意味着网站部署了基于请求频率、请求头完整性或Cookie/Session验证的防护。对于jj20.com初步观察发现如果短时间内请求过于频繁或使用非常规的User-Agent触发验证页面的概率会大大增加。2.2 核心爬取策略设计基于以上分析我制定了以下策略分步请求先爬取所有列表页收集详情页链接再逐个访问详情页获取原图地址。这样做虽然速度不是最快但将请求分散开更符合人类浏览习惯能有效降低被封风险。请求头伪装为每一个HTTP请求配置完整的、模拟真实浏览器的请求头Headers特别是User-Agent、Referer等字段。请求间隔在关键请求如翻页、进入详情页之间使用time.sleep()添加随机延时例如time.sleep(random.uniform(1, 3))避免高频访问。会话保持使用requests.Session()对象来发起所有请求。Session可以自动管理Cookies在一次会话中保持登录状态如果需要和某些验证信息比单次请求更稳定。异常处理与重试网络请求充满不确定性必须对可能出现的异常如连接超时、状态码非200、触发验证页面进行捕获并设计合理的重试逻辑。图片存储根据壁纸的分类、分辨率等属性在本地创建有结构的文件夹进行存储方便后续管理。3. 开发环境搭建与核心库选型工欲善其事必先利其器。一个清晰的环境和合适的工具库能让开发事半功倍。3.1 Python环境与IDE我使用的是Python 3.8的版本这个版本区间生态成熟兼容性好。集成开发环境IDE方面VSCode或PyCharm都是绝佳选择。VSCode轻量灵活配合Python插件和Pylance能获得很好的开发体验PyCharm则是专业为Python打造其代码提示、调试和项目管理功能更为强大。对于爬虫这类项目我更喜欢用PyCharm因为它对虚拟环境的管理和HTTP客户端测试工具可用于调试请求集成得更好。关于VSCode Python环境配置如果你选择VSCode确保安装了官方Python扩展。然后通过CtrlShiftP打开命令面板输入Python: Select Interpreter来选择或创建一个虚拟环境venv的解释器。这样项目的依赖就能与系统环境隔离。3.2 核心第三方库以下是本项目需要用到的库及其作用requestsHTTP库的“瑞士军刀”用于发送所有GET/POST请求。它比标准库的urllib更简洁易用。pip install requestsBeautifulSoup4 (bs4)HTML和XML解析库。当网页结构规整时用它来提取标签和数据非常方便直观。pip install beautifulsoup4lxml一个高性能的HTML/XML解析器。BeautifulSoup可以指定lxml作为其解析后端速度比默认的html.parser快很多。pip install lxmlfake-useragent一个用来随机生成真实浏览器User-Agent字符串的库。避免一直使用同一个UA被识别。pip install fake-useragent为什么选BeautifulSoup lxml而不是其他对于jj20.com这类静态内容为主的网站页面结构相对固定BeautifulSoup的CSS选择器或find方法足以应对学习曲线平缓。虽然PyQuery或parselScrapy用的也很强大但BeautifulSoup的文档和社区资源最丰富遇到问题更容易找到答案。lxml作为解析引擎保证了速度。4. 爬虫核心代码实现与逐行解析理论分析完毕现在进入实战编码环节。我会将整个爬虫分解为几个功能模块并详细解释每一行代码的意图。4.1 模块一请求会话与工具函数首先我们创建一个spider.py文件并导入必要的库同时初始化一个全局的请求会话和一些工具。import requests from bs4 import BeautifulSoup import time import random import os from fake_useragent import UserAgent import logging from urllib.parse import urljoin # 配置日志方便查看运行状态和错误 logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s: %(message)s) logger logging.getLogger(__name__) class WallpaperSpider: def __init__(self, base_urlhttp://www.jj20.com): self.base_url base_url self.session requests.Session() # 创建会话保持Cookies self.ua UserAgent() # 用于生成随机User-Agent # 初始化会话的请求头Referer先设为网站首页 self.session.headers.update({ Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, DNT: 1, Connection: keep-alive, Upgrade-Insecure-Requests: 1, Referer: self.base_url /, # 初始Referer })代码解析logging用于输出信息、警告和错误。在生产中可以将日志写入文件方便后续排查问题。UserAgent每次请求前我们会用self.ua.random来生成一个随机的User-Agent动态更新到会话头中。requests.Session()这是本爬虫稳定性的核心。它会在内部自动处理Cookies使得多次请求像是在同一个浏览器标签页中发生的一样。初始的headers我们预先设置了一些通用的、浏览器会发送的请求头。特别注意Referer很多网站会检查这个字段它表示请求是从哪个页面发起的。从一个详情页请求图片时将Referer设置为该详情页的URL会显得更“真实”。4.2 模块二获取列表页所有详情链接这个函数负责遍历某个分类下的所有列表页并提取出每一个壁纸详情页的链接。def get_detail_links_from_category(self, category_path, max_pages5): 根据分类路径获取前max_pages页的所有壁纸详情页链接 :param category_path: 分类路径如 /bz/fj/ :param max_pages: 最大爬取页数 :return: 详情页链接列表 detail_links [] for page in range(1, max_pages 1): # 构造列表页URL这里假设页码规律是 list_{id}_{page}.html # 需要根据实际网站结构调整 pattern list_url f{self.base_url}{category_path}list_11_{page}.html logger.info(f正在抓取列表页: {list_url}) try: # 动态更新本次请求的User-Agent headers {User-Agent: self.ua.random} # 使用会话发起请求 resp self.session.get(list_url, headersheaders, timeout10) resp.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 使用lxml解析器速度更快 soup BeautifulSoup(resp.text, lxml) # 关键步骤找到详情页链接的HTML模式 # 需要打开浏览器开发者工具查看列表页中一个壁纸项的HTML结构 # 假设每个壁纸项在一个class为‘item’的div里里面的a标签链接到详情页 items soup.find_all(div, class_item) # 这个选择器需要根据实际网站调整 for item in items: a_tag item.find(a) if a_tag and a_tag.get(href): # 拼接完整的详情页URL使用urljoin处理相对路径 detail_url urljoin(self.base_url, a_tag[href]) detail_links.append(detail_url) logger.debug(f找到详情页链接: {detail_url}) logger.info(f第{page}页完成找到{len(items)}个链接。) # 随机延时模拟人类浏览 time.sleep(random.uniform(2, 4)) except requests.exceptions.RequestException as e: logger.error(f请求列表页 {list_url} 失败: {e}) # 可以在这里加入重试逻辑 continue except Exception as e: logger.error(f解析列表页 {list_url} 时发生未知错误: {e}) continue logger.info(f共收集到 {len(detail_links)} 个详情页链接。) return detail_links实操心得与避坑点选择器 (selector) 的确定代码中的soup.find_all(div, class_item)是一个示例。你必须通过浏览器的“检查元素”功能亲自查看jj20.com列表页的真实HTML结构。可能是li标签也可能是div带有其他类名。找到包裹每个壁纸项的最小公共父元素及其特征是这一步成功的关键。urljoin的使用网页中的链接可能是相对路径如/bz/xxx/123.html或绝对路径。urljoin(base_url, href)能智能地拼接出完整的URL避免链接错误。异常处理网络请求可能因超时、连接拒绝、404等原因失败。用try...except包裹起来并记录错误日志可以让程序在遇到部分页面失败时继续运行而不是整体崩溃。延时策略time.sleep(random.uniform(2, 4))在每处理完一页后暂停。随机化延时时间比固定延时更难被检测。这个时间间隔可以根据实际情况调整在效率和安全性之间取得平衡。4.3 模块三从详情页提取高清图片地址这是最核心也最可能出问题的环节。我们需要从详情页的HTML或JavaScript数据中定位到最高清版本图片的URL。def get_image_url_from_detail(self, detail_url): 从壁纸详情页解析出高清图片的直连地址 :param detail_url: 详情页URL :return: 图片直连URL如果解析失败则返回None logger.info(f正在解析详情页: {detail_url}) try: # 更新Referer为当前详情页模拟从列表页点击进来的行为 headers { User-Agent: self.ua.random, Referer: detail_url # 重要很多图片服务器会校验Referer } resp self.session.get(detail_url, headersheaders, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.text, lxml) # 方法1尝试直接查找高清大图的img标签 # 通常高清图会在一个id或class比较特殊的div里或者img标签本身有‘original’、‘src’等属性 # 例如 img idbigImg src真实地址 high_res_img soup.find(img, idbigImg) if high_res_img and high_res_img.get(src): img_url urljoin(self.base_url, high_res_img[src]) logger.info(f通过ID选择器找到图片: {img_url}) return img_url # 方法2如果方法1不行可能图片地址在JavaScript变量或某个data属性中 # 例如 div>def download_image(self, img_url, save_dir, filenameNone): 下载图片并保存到本地 :param img_url: 图片直连URL :param save_dir: 保存目录 :param filename: 指定文件名如果为None则从URL或内容中提取 :return: 成功返回保存路径失败返回None if not img_url: return None # 确保保存目录存在 os.makedirs(save_dir, exist_okTrue) # 生成文件名 if not filename: # 从URL中提取文件名如果URL中包含查询参数需要分割 filename os.path.basename(img_url).split(?)[0] # 如果还是空的用时间戳 if not filename: filename f{int(time.time())}_{random.randint(1000, 9999)}.jpg # 确保文件名安全移除非法字符 filename .join(c for c in filename if c.isalnum() or c in (-, _, .)).rstrip() save_path os.path.join(save_dir, filename) # 检查文件是否已存在避免重复下载 if os.path.exists(save_path): logger.info(f文件已存在跳过下载: {save_path}) return save_path logger.info(f开始下载: {img_url}) try: # 下载图片时Referer设置为图片所在详情页的域名或路径有时是必须的 headers { User-Agent: self.ua.random, Referer: self.base_url # 或者可以尝试更具体的Referer } # streamTrue 以流式方式下载大文件避免内存占用过高 resp self.session.get(img_url, headersheaders, streamTrue, timeout30) resp.raise_for_status() # 从响应头中获取文件大小和类型可选 total_size int(resp.headers.get(content-length, 0)) # 检查Content-Type确认是图片 content_type resp.headers.get(content-type, ) if image not in content_type: logger.warning(f下载的内容不是图片 (Content-Type: {content_type})URL: {img_url}) # 可以尝试保存为其他格式或直接跳过 # return None # 以二进制写入模式保存图片 with open(save_path, wb) as f: # 如果知道文件大小可以显示进度可选 if total_size 0: f.write(resp.content) else: downloaded 0 for chunk in resp.iter_content(chunk_size8192): if chunk: f.write(chunk) downloaded len(chunk) # 可以在这里添加进度条显示例如每10%打印一次 # progress (downloaded / total_size) * 100 # if int(progress) % 10 0: # logger.info(f下载进度: {progress:.1f}%) logger.info(f图片保存成功: {save_path}) # 下载后也休息一下 time.sleep(random.uniform(0.5, 1.5)) return save_path except requests.exceptions.RequestException as e: logger.error(f下载图片失败 {img_url}: {e}) # 如果是因为网络问题可以加入重试机制 return None except IOError as e: logger.error(f保存图片文件失败 {save_path}: {e}) return None关键细节与优化流式下载 (streamTrue)对于大尺寸壁纸文件可能达到几兆甚至十几兆。使用streamTrue参数requests不会一次性将整个响应内容读入内存而是以数据块chunk的形式迭代读取写入文件。这对内存更友好也是下载大文件的推荐方式。文件名校验与生成从URL提取文件名时需要处理可能附带的查询参数?之后的部分。os.path.basename(img_url).split(?)[0]这个操作可以干净地获取主文件名。同时用列表推导式过滤掉文件名中的非法字符确保文件能安全创建在所有操作系统上。重复下载检查if os.path.exists(save_path):这一行检查可以避免在程序中断后重新运行时重复下载已成功的图片。内容类型检查检查Content-Type响应头是一个好习惯。如果服务器返回的不是image/jpeg,image/png等而是text/html比如一个错误页面或验证页面那么我们就知道这次请求可能出了问题没有拿到真正的图片数据。4.5 模块五主流程串联与执行最后我们将所有模块串联起来形成一个完整的工作流。def crawl_category(self, category_path, save_root_dirdownloads, max_pages3): 爬取一个分类的主流程 :param category_path: 分类路径 :param save_root_dir: 图片保存的根目录 :param max_pages: 最大爬取列表页数 logger.info(f开始爬取分类: {category_path}) # 1. 获取所有详情页链接 detail_links self.get_detail_links_from_category(category_path, max_pages) if not detail_links: logger.warning(未找到任何详情页链接爬取终止。) return # 2. 遍历每个详情页下载图片 success_count 0 fail_count 0 for idx, link in enumerate(detail_links, 1): logger.info(f处理进度: {idx}/{len(detail_links)}) # 获取图片URL img_url self.get_image_url_from_detail(link) if not img_url: logger.warning(f未能获取图片URL跳过: {link}) fail_count 1 continue # 创建分类子目录例如 downloads/风景/ category_name category_path.strip(/).split(/)[-1] or unknown save_dir os.path.join(save_root_dir, category_name) # 下载并保存图片 result self.download_image(img_url, save_dir) if result: success_count 1 else: fail_count 1 logger.info(f爬取完成成功: {success_count}, 失败: {fail_count}) # 主函数程序入口 if __name__ __main__: spider WallpaperSpider() # 示例爬取‘风景’分类的前2页 # 注意category_path 需要根据网站实际结构修改 spider.crawl_category(category_path/bz/fj/, max_pages2, save_root_dirjj20_wallpapers) # 可以依次爬取多个分类 # categories [/bz/fj/, /bz/dm/, /bz/mn/] # for cat in categories: # spider.crawl_category(category_pathcat, max_pages2) # # 爬完一个分类后可以休息久一点 # time.sleep(random.uniform(5, 10))运行与调整将上述所有代码块按顺序保存到一个py文件中。在文件末尾的__main__部分修改category_path为你实际分析出的分类路径。首次运行时建议将max_pages设为1或2进行小规模测试。运行程序观察日志输出。如果出现大量“无法找到图片地址”的警告就需要回到模块三使用之前提到的保存HTML的方法进行调试调整图片地址的提取逻辑。5. 高级话题应对反爬与策略优化当基础爬虫能运行后我们可能会遇到更严格的封锁。以下是几种进阶应对策略。5.1 识别与处理验证页面如果程序运行中突然开始收到非图片数据或者HTML内容里包含“安全验证”、“自动程序”等字样说明触发了反爬。应对策略立即检测在get_image_url_from_detail和download_image函数中在解析HTML或检查Content-Type之前可以先判断响应文本是否包含验证关键词。if 安全验证 in resp.text or 自动程序 in resp.text: logger.warning(f触发反爬验证页面URL: {resp.url}) # 1. 立即延长等待时间比如sleep 30秒 # 2. 可以考虑更换User-Agent甚至清空session的cookies重新开始 # 3. 将当前URL加入重试队列稍后再试 time.sleep(30) return None # 或 raise一个特定异常降低请求频率这是最有效的方法。进一步增加time.sleep的随机间隔范围尤其是在连续请求多个详情页之后可以模拟更长时间的“浏览”行为。使用代理IP池当单个IP地址的请求过于频繁时网站可能会封禁该IP。使用代理IP轮换是解决方案。你可以订阅一些代理IP服务或者在代码中集成像requests搭配proxies参数进行请求。proxies { http: http://your-proxy-ip:port, https: http://your-proxy-ip:port, } resp self.session.get(url, headersheaders, proxiesproxies, timeout10)注意免费代理IP大多不稳定商用代理服务需要成本。对于个人小规模爬取优先优化请求策略而非直接上代理。5.2 异步加速与断点续传当需要爬取大量数据时同步请求一个接一个会非常慢。我们可以使用asyncio和aiohttp库进行异步并发请求极大提升效率。但异步编程复杂度更高且对目标网站压力更大更容易触发反爬需谨慎使用。断点续传的思路是将成功下载的图片URL或详情页URL记录到一个文件如success.txt或数据库中。每次启动程序时先加载这个记录过滤掉已经成功的内容只爬取新的。这在我们代码中通过os.path.exists检查实现了文件层面的去重但对于URL列表还需要在程序开始时读取历史记录。5.3 道德与法律边界最后必须强调爬虫行为应遵守Robots协议通常位于网站域名/robots.txt尊重网站的资源和服务条款。本示例仅用于技术学习和研究请勿用于商业用途或对目标网站造成过大负荷。在运行爬虫前最好控制速率并在非高峰时段进行。