简介本资源是一套完整的Python爬虫与数据可视化分析期末大作业项目代码面向高校计算机类、数据科学相关专业学生解决课程设计与期末大作业中缺乏可运行、可展示、可拓展实战案例的痛点。压缩包共39个文件含24个HTML可视化报告页面基于ECharts或Plotly生成、4个Excel原始与清洗后数据集涵盖Python、PyTorch、TensorFlow等技术岗位招聘数据、3个核心Python脚本GetData.py负责动态反爬采集、DataStorage.py实现SQLite存储、DataView.py驱动图表渲染以及chromedriver、环境配置yaml、SQL建表语句等配套文件整体6.68MB结构清晰、模块解耦。已有3403人学习下载代码全程中文注释覆盖请求伪装、Ajax数据提取、数据清洗、多维度统计与交互式图表呈现全流程小白可直接运行进阶者可基于现有框架快速二开适配新目标网站或分析维度。1. 项目概述不只是为了“高分必过”每到期末计算机、数据科学相关专业的同学总会为“大作业”发愁。一个典型的题目就是“Python爬虫数据可视化分析”听起来技术栈完整既能考察编程能力又能体现数据分析思维是老师眼中的“好题目”却常常是学生心里的“大麻烦”。网上流传着各种号称“高分必过”的项目代码下载下来却发现要么跑不通要么逻辑混乱注释全无离“优秀作业”的标准相去甚远。这个项目标题的核心其实指向了一个非常经典的“数据驱动”实践闭环从互联网上获取原始数据爬虫经过清洗和整理最终通过图表揭示其背后的规律和故事可视化分析。它考察的远不止是写几行requests和matplotlib代码而是完整的数据工程与数据分析能力。一个真正能拿高分的项目代码只是载体其内核在于清晰的问题定义、稳健的数据获取、严谨的数据处理以及有洞察力的可视化呈现。所以我们这次要聊的不是给你一份可以直接交差的“答案代码”而是带你从头到尾亲手构建一个结构清晰、鲁棒性强、分析有深度、可视化专业的真正符合“高分”标准的期末大作业项目。我们会选用一个贴近生活、数据源稳定、且有分析价值的主题——例如“分析主流视频平台热门剧集的评分与评论趋势”。通过这个项目你将掌握从环境搭建、爬虫编写、数据存储、清洗分析到可视化展示的全流程并理解每个环节背后的“为什么”从而具备举一反三的能力。2. 项目整体设计与核心思路拆解2.1 为什么选择“剧集评分评论分析”作为主题首先选题决定了项目的上限。一个好的课程设计主题应该具备以下几个特点数据可得性目标网站有公开、相对稳定的数据接口或页面结构。分析价值数据本身能支撑起有意义的分析维度如趋势、对比、分布、关联。技术综合性能覆盖课程要求的主要技术点爬虫、数据处理、可视化。可扩展性为可能的加分项如交互性、深度建模留出空间。“剧集评分评论分析”完美契合以上几点。以国内主流平台为例其剧集详情页通常包含评分、评分人数、短评/长评内容、发布时间等结构化或半结构化数据。我们可以分析趋势分析某部剧开播后评分随时间如每日的变化趋势。对比分析不同类型古装、现代、悬疑或不同平台剧集的评分分布对比。情感分析进阶对评论内容进行简单的情感倾向分析观察口碑变化。关联分析评分与评论数量、播出周期是否存在关联。这个主题生活化容易引起共鸣也便于向答辩老师阐述分析结论。2.2 技术栈选型与架构设计一个健壮的项目始于清晰的技术选型。以下是本项目的核心架构与技术栈每一部分的选择都有其考量数据源 (某视频平台) ↓ (HTTP请求) 爬虫层 (Requests BeautifulSoup4 / lxml) ↓ (数据解析) 数据存储 (Pandas DataFrame - CSV/JSON - SQLite) ↓ (数据清洗/转换) 数据分析层 (Pandas, NumPy) ↓ (结果生成) 可视化层 (Matplotlib Seaborn) ↓ (报告整合) 最终报告 (Jupyter Notebook / 独立脚本 图表)各层选型理由爬虫层Requests人性化、功能强大的HTTP库是发起网络请求的事实标准。BeautifulSoup4或lxmlHTML/XML解析库。BeautifulSoup4API友好适合初学者和快速开发lxml解析速度更快适合处理大量页面。本项目数据量中等两者皆可我们将以BeautifulSoup4为例。为什么不直接用ScrapyScrapy是强大的框架适合大型、复杂的爬虫项目。但对于期末大作业其学习曲线和项目结构可能过于沉重。用RequestsBeautifulSoup组合更能体现对HTTP请求、页面解析等基础知识的掌握也更容易被老师理解和评价。数据存储层Pandas DataFrame内存中的核心数据结构方便进行快速的数据清洗和转换。CSV/JSON文件作为中间或最终的数据持久化格式简单通用便于检查和分享。SQLite数据库可选但推荐作为更正式的数据存储方案。它无需单独服务器一个文件就是一个数据库非常适合本项目。将清洗后的数据存入SQLite能体现你对数据持久化和简单数据库操作的理解是重要的加分项。数据分析层Pandas数据处理的瑞士军刀提供了数据筛选、分组、聚合、合并等几乎所有必需的操作。NumPy提供高效的数值计算基础Pandas的底层依赖。可视化层MatplotlibPython绘图库的基石高度可定制化能绘制几乎所有类型的图表。Seaborn基于Matplotlib的高级接口默认样式更美观绘制统计图表如分布图、箱线图、热力图更加简便。为什么不用PyEcharts或Plotly它们能生成交互式图表非常炫酷。但在静态的课程报告通常是PDF或PPT中交互功能无法体现。MatplotlibSeaborn生成的静态图表印刷质量高且能完全展示你的定制化能力如字体、颜色、标注。可以在项目最后作为“扩展展望”提及。2.3 项目目录结构规划清晰的目录结构是专业性的体现。建议如下video_analysis_project/ ├── README.md # 项目说明文档 ├── requirements.txt # 项目依赖包列表 ├── config.py # 配置文件如请求头、数据库路径 ├── spider/ │ ├── __init__.py │ ├── crawler.py # 核心爬虫类 │ └── utils.py # 爬虫工具函数如请求重试、解析函数 ├── data/ │ ├── raw/ # 存放原始爬取数据JSON格式 │ ├── processed/ # 存放清洗后的数据CSV/SQLite │ └── cache/ # 缓存页面避免重复请求可选 ├── analysis/ │ ├── __init__.py │ ├── data_cleaner.py # 数据清洗模块 │ ├── analyzer.py # 数据分析模块 │ └── visualize.py # 可视化模块 ├── main.py # 主程序入口 └── report.ipynb # Jupyter Notebook分析报告这样的结构将爬虫、数据分析、可视化逻辑分离符合“高内聚、低耦合”的软件设计原则在答辩时能清晰地展示你的模块化思维能力。3. 核心模块实现与实操要点3.1 爬虫模块稳健地获取数据爬虫是项目的基石也是最容易出问题的环节。一个生产级的爬虫必须考虑反爬策略、异常处理和效率。3.1.1 请求头与会话管理直接使用requests.get()而不做任何伪装很容易被网站识别并封锁。我们必须让我们的请求看起来像一个真实的浏览器。import requests from fake_useragent import UserAgent class VideoSpider: def __init__(self): self.session requests.Session() # 使用会话保持cookies提高效率 self.ua UserAgent() # 基础请求头模仿浏览器 self.headers { User-Agent: self.ua.random, # 使用随机User-Agent Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.8,zh-TW;q0.7,zh-HK;q0.5,en-US;q0.3,en;q0.2, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1, } self.session.headers.update(self.headers) def get_page(self, url, paramsNone): 获取页面HTML包含重试机制 for i in range(3): # 重试3次 try: # 每次请求前更新一个随机User-Agent self.session.headers[User-Agent] self.ua.random resp self.session.get(url, paramsparams, timeout10) resp.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 简单检查是否返回了有效内容而非反爬页面 if len(resp.text) 1000 or 安全验证 in resp.text: print(f第{i1}次请求可能被拦截等待后重试...) time.sleep(5 * (i1)) # 等待时间递增 continue return resp.text except requests.exceptions.RequestException as e: print(f第{i1}次请求失败: {e}) time.sleep(2 * (i1)) print(f请求 {url} 失败已重试3次。) return None注意fake_useragent库需要安装(pip install fake-useragent)。在实际使用中它的UserAgent().random有时会失效一个更稳妥的方案是维护一个自己收集的常用浏览器UA列表进行随机选择。3.1.2 页面解析与数据提取假设我们要爬取某剧集的详情页需要提取剧名、评分、评分人数、短评列表等信息。from bs4 import BeautifulSoup import re import json def parse_detail_page(html, drama_id): 解析剧集详情页 if not html: return None soup BeautifulSoup(html, lxml) data {drama_id: drama_id} # 1. 提取剧名 (假设在h1标签里) title_tag soup.find(h1) data[title] title_tag.get_text(stripTrue) if title_tag else 未知 # 2. 提取评分和评分人数 (假设评分在class为‘rating_num’的span里) rating_tag soup.find(span, class_rating_num) if rating_tag: data[rating] float(rating_tag.get_text(stripTrue)) else: data[rating] None # 3. 提取评分人数 (假设在class为‘rating_people’的span里) people_tag soup.find(span, class_rating_people) if people_tag: people_text people_tag.get_text(stripTrue) # 使用正则表达式提取数字 match re.search(r(\d), people_text.replace(,, )) data[rating_count] int(match.group(1)) if match else 0 else: data[rating_count] 0 # 4. 提取短评 (假设短评列表在id为‘comments’的div里) comments [] comments_div soup.find(div, idcomments) if comments_div: comment_items comments_div.find_all(div, class_comment-item) for item in comment_items[:20]: # 只取前20条避免数据量过大 comment {} # 提取用户昵称 user_tag item.find(span, class_comment-info).find(a) comment[user] user_tag.get_text(stripTrue) if user_tag else 匿名 # 提取评分 (假设用‘rating’ class表示) star_tag item.find(span, class_rating) if star_tag and title in star_tag.attrs: comment[user_rating] star_tag[title] # 例如“力荐” # 提取评论内容和时间 content_tag item.find(span, class_short) time_tag item.find(span, class_comment-time) comment[content] content_tag.get_text(stripTrue) if content_tag else comment[time] time_tag.get_text(stripTrue) if time_tag else comments.append(comment) data[hot_comments] comments return data实操心得解析HTML高度依赖网站结构。务必在编写解析代码前仔细查看目标页面的实际HTML源码浏览器右键“检查”。网站改版会导致解析失败因此解析函数要写得健壮多用if判断标签是否存在并为关键数据设置默认值如None或空字符串。使用try-except包裹可能出错的解析步骤也是一个好习惯。3.1.3 数据存储与增量爬取一次性爬取所有数据风险高且不便于更新。应将爬取的数据及时保存。import json import os from datetime import datetime def save_raw_data(data, drama_id, data_dirdata/raw): 将原始数据保存为JSON文件 os.makedirs(data_dir, exist_okTrue) filename os.path.join(data_dir, fdrama_{drama_id}_{datetime.now().strftime(%Y%m%d)}.json) with open(filename, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2) print(f已保存原始数据至: {filename}) def load_existing_ids(data_dirdata/raw): 加载已爬取剧集的ID用于实现简单的增量爬取 existing_ids set() if os.path.exists(data_dir): for file in os.listdir(data_dir): if file.startswith(drama_) and file.endswith(.json): # 从文件名‘drama_12345_20231001.json’中提取ID try: drama_id int(file.split(_)[1]) existing_ids.add(drama_id) except (IndexError, ValueError): continue return existing_ids在主爬虫循环中可以先调用load_existing_ids跳过已爬取的ID实现最简单的增量逻辑。更复杂的增量需要对比数据内容如评论是否有更新。3.2 数据处理与分析模块从原始数据到干净数据爬取到的原始数据Raw Data通常是杂乱无章的必须经过清洗Data Cleaning和转换Data Transformation才能用于分析。3.2.1 数据清洗与整合我们将多个JSON文件整合到一个Pandas DataFrame中并进行清洗。import pandas as pd import numpy as np import glob class DataCleaner: def __init__(self, raw_data_pathdata/raw/*.json): self.raw_data_path raw_data_path def load_and_concat_raw_data(self): 加载并合并所有原始JSON数据 all_data [] for file in glob.glob(self.raw_data_path): with open(file, r, encodingutf-8) as f: try: data json.load(f) # 将评论列表展开每条评论作为一行并关联剧集信息 drama_basic {k: v for k, v in data.items() if k ! hot_comments} for comment in data.get(hot_comments, []): row drama_basic.copy() row.update(comment) all_data.append(row) except json.JSONDecodeError as e: print(f解析文件{file}失败: {e}) if not all_data: return pd.DataFrame() df pd.DataFrame(all_data) print(f原始数据加载完成共 {len(df)} 条记录。) return df def clean_data(self, df): 执行数据清洗 if df.empty: return df # 1. 处理缺失值 # 评分缺失的用该类型剧集的平均分填充这里简化用全局平均分 global_avg_rating df[rating].mean() df[rating] df[rating].fillna(global_avg_rating) # 用户评分缺失的填充为‘未评分’ df[user_rating] df[user_rating].fillna(未评分) # 评论内容缺失的填充为空字符串 df[content] df[content].fillna() # 2. 数据类型转换 df[rating_count] pd.to_numeric(df[rating_count], errorscoerce).fillna(0).astype(int) # 将评论时间字符串转换为datetime类型 df[time] pd.to_datetime(df[time], errorscoerce) # 转换失败则为NaT # 3. 处理异常值 # 假设评分应在1-10之间超出此范围的视为异常 df.loc[~df[rating].between(1, 10), rating] np.nan df[rating] df[rating].fillna(global_avg_rating) # 再次用平均分填充异常值 # 4. 文本清洗以评论内容为例 # 去除首尾空格 df[content] df[content].str.strip() # 去除重复的空格和换行符 df[content] df[content].str.replace(r\s, , regexTrue) print(数据清洗完成。) return df def save_cleaned_data(self, df, output_pathdata/processed/cleaned_data.csv): 保存清洗后的数据 os.makedirs(os.path.dirname(output_path), exist_okTrue) df.to_csv(output_path, indexFalse, encodingutf-8-sig) # utf-8-sig解决Excel中文乱码 print(f清洗后数据已保存至: {output_path}) # 同时可保存到SQLite import sqlite3 db_path data/processed/video_analysis.db conn sqlite3.connect(db_path) df.to_sql(drama_comments, conn, if_existsreplace, indexFalse) conn.close() print(f数据已存入SQLite数据库: {db_path})3.2.2 核心数据分析数据清洗后我们就可以进行多维度分析了。class DataAnalyzer: def __init__(self, df): self.df df def basic_statistics(self): 输出基本统计信息 print( 数据集基本统计 ) print(f剧集数量: {self.df[drama_id].nunique()}) print(f评论总数: {len(self.df)}) print(f总体平均评分: {self.df[rating].mean():.2f}) print(f评分中位数: {self.df[rating].median():.2f}) print(f评分标准差: {self.df[rating].std():.2f}) print(\n评分分布:) print(self.df[rating].describe()) def rating_trend_by_time(self, drama_idNone): 分析评分随时间的变化趋势以天为单位 # 如果指定了剧集ID则分析单部剧否则分析整体趋势需要数据中包含‘rating’和‘time’字段 if drama_id: drama_df self.df[self.df[drama_id] drama_id].copy() else: drama_df self.df.copy() # 确保有时间字段且非空 if time not in drama_df.columns or drama_df[time].isnull().all(): print(无有效时间数据无法进行趋势分析。) return None # 按天聚合计算每日平均评分 drama_df[date] drama_df[time].dt.date daily_rating drama_df.groupby(date)[rating].mean().reset_index() return daily_rating def rating_distribution_by_genre(self, genre_coltype): 分析不同类型剧集的评分分布 if genre_col not in self.df.columns: # 如果数据中没有类型信息可以尝试从标题或人工标注获取这里假设有 print(f数据中无‘{genre_col}’列。) return None genre_stats self.df.groupby(genre_col)[rating].agg([mean, count, std]).round(2) genre_stats genre_stats.sort_values(mean, ascendingFalse) return genre_stats def comment_sentiment_analysis_simple(self): 简单的评论情感分析基于关键词 # 这是一个非常简单的示例实际应用应使用更成熟的模型如snownlp, jieba情感词典 positive_words [好, 棒, 精彩, 喜欢, 推荐, 好看, 优秀, 赞] negative_words [差, 烂, 无聊, 失望, 垃圾, 难看, 弃剧] def classify_sentiment(text): if not isinstance(text, str): return 中性 pos_count sum(word in text for word in positive_words) neg_count sum(word in text for word in negative_words) if pos_count neg_count: return 积极 elif neg_count pos_count: return 消极 else: return 中性 self.df[sentiment] self.df[content].apply(classify_sentiment) sentiment_dist self.df[sentiment].value_counts(normalizeTrue) return sentiment_dist3.3 可视化模块用图表讲述数据故事可视化是分析的“临门一脚”好的图表能瞬间传达信息。我们使用Matplotlib和Seaborn。3.3.1 评分趋势折线图import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei, DejaVu Sans] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号 sns.set_style(whitegrid) # 设置Seaborn风格 class Visualizer: staticmethod def plot_rating_trend(daily_rating_df, drama_title总体): 绘制评分随时间变化趋势图 if daily_rating_df is None or daily_rating_df.empty: print(无趋势数据可绘制。) return fig, ax plt.subplots(figsize(12, 6)) ax.plot(daily_rating_df[date], daily_rating_df[rating], markero, linewidth2, markersize5) ax.set_title(f《{drama_title}》评分每日变化趋势, fontsize16, fontweightbold) ax.set_xlabel(日期, fontsize12) ax.set_ylabel(平均评分, fontsize12) ax.tick_params(axisx, rotation45) # 旋转x轴标签 ax.grid(True, linestyle--, alpha0.6) # 在最后一个点标注数值 last_rating daily_rating_df[rating].iloc[-1] last_date daily_rating_df[date].iloc[-1] ax.annotate(f{last_rating:.1f}, xy(last_date, last_rating), xytext(10, 10), textcoordsoffset points, bboxdict(boxstyleround,pad0.3, fcyellow, alpha0.5), arrowpropsdict(arrowstyle-)) plt.tight_layout() plt.savefig(frating_trend_{drama_title}.png, dpi300, bbox_inchestight) plt.show()3.3.2 评分分布箱线图与小提琴图箱线图能展示数据的分布、中位数、异常值小提琴图结合了箱线图和密度图。staticmethod def plot_rating_distribution(df, genre_coltype, top_n10): 绘制不同类型剧集的评分分布箱线图小提琴图 # 选取评论数量最多的前N个类型 top_genres df[genre_col].value_counts().head(top_n).index plot_df df[df[genre_col].isin(top_genres)] fig, axes plt.subplots(1, 2, figsize(16, 6)) # 箱线图 sns.boxplot(dataplot_df, xgenre_col, yrating, axaxes[0], paletteSet2) axes[0].set_title(fTop {top_n} 类型剧集评分分布箱线图, fontsize14) axes[0].set_xlabel(剧集类型, fontsize12) axes[0].set_ylabel(评分, fontsize12) axes[0].tick_params(axisx, rotation45) # 小提琴图 sns.violinplot(dataplot_df, xgenre_col, yrating, axaxes[1], palettemuted, innerquartile) axes[1].set_title(fTop {top_n} 类型剧集评分分布小提琴图, fontsize14) axes[1].set_xlabel(剧集类型, fontsize12) axes[1].set_ylabel(评分, fontsize12) axes[1].tick_params(axisx, rotation45) plt.tight_layout() plt.savefig(rating_distribution_by_genre.png, dpi300, bbox_inchestight) plt.show()3.3.3 评论情感分布饼图staticmethod def plot_sentiment_pie(sentiment_series): 绘制评论情感分布饼图 if sentiment_series.empty: print(无情感分析数据。) return colors [#66b3ff, #ff9999, #99ff99] # 蓝红绿 explode (0.05, 0.05, 0.05) # 让每一块稍微分离 fig, ax plt.subplots(figsize(8, 8)) wedges, texts, autotexts ax.pie(sentiment_series.values, labelssentiment_series.index, autopct%1.1f%%, startangle90, colorscolors, explodeexplode) # 美化文本 for autotext in autotexts: autotext.set_color(white) autotext.set_fontweight(bold) ax.set_title(评论情感倾向分布, fontsize16, fontweightbold) plt.tight_layout() plt.savefig(comment_sentiment_pie.png, dpi300, bbox_inchestight) plt.show()4. 项目集成与主程序流程将上述模块串联起来形成一个完整的、可执行的工作流。# main.py import time from spider.crawler import VideoSpider from spider.utils import parse_detail_page, save_raw_data, load_existing_ids from analysis.data_cleaner import DataCleaner from analysis.analyzer import DataAnalyzer from analysis.visualize import Visualizer def main(): 主函数控制整个项目流程 print(开始视频剧集数据分析项目...) # 阶段一数据爬取 print(\n 阶段一数据爬取 ) spider VideoSpider() # 假设我们有一个剧集ID列表可以从某个列表页爬取这里手动定义示例 drama_ids [12345, 23456, 34567] # 替换为真实的剧集ID existing_ids load_existing_ids() for drama_id in drama_ids: if drama_id in existing_ids: print(f剧集 {drama_id} 已存在跳过...) continue print(f正在爬取剧集 {drama_id} ...) url fhttps://api.example.com/drama/{drama_id} # 替换为真实URL构造规则 html spider.get_page(url) if html: data parse_detail_page(html, drama_id) if data: save_raw_data(data, drama_id) print(f剧集 {drama_id} 爬取成功。) else: print(f剧集 {drama_id} 解析失败。) else: print(f剧集 {drama_id} 页面获取失败。) time.sleep(3) # 礼貌性延时避免对服务器造成压力 # 阶段二数据清洗与分析 print(\n 阶段二数据清洗与分析 ) cleaner DataCleaner() raw_df cleaner.load_and_concat_raw_data() if not raw_df.empty: cleaned_df cleaner.clean_data(raw_df) cleaner.save_cleaned_data(cleaned_df) analyzer DataAnalyzer(cleaned_df) analyzer.basic_statistics() # 分析特定剧集的评分趋势 target_drama_id drama_ids[0] daily_rating analyzer.rating_trend_by_time(target_drama_id) # 分析类型分布假设数据中有‘type’列 genre_stats analyzer.rating_distribution_by_genre(type) if genre_stats is not None: print(\n按类型统计的评分) print(genre_stats) # 简单情感分析 sentiment_dist analyzer.comment_sentiment_analysis_simple() print(\n评论情感分布) print(sentiment_dist) # 阶段三可视化 print(\n 阶段三数据可视化 ) viz Visualizer() if daily_rating is not None: target_title cleaned_df[cleaned_df[drama_id]target_drama_id][title].iloc[0] if not cleaned_df[cleaned_df[drama_id]target_drama_id].empty else str(target_drama_id) viz.plot_rating_trend(daily_rating, target_title) if genre_stats is not None and not cleaned_df.empty: viz.plot_rating_distribution(cleaned_df, type, top_n5) if sentiment_dist is not None: viz.plot_sentiment_pie(sentiment_dist) print(可视化图表已生成并保存。) else: print(未加载到有效数据请检查爬虫阶段。) print(\n项目执行完毕。) if __name__ __main__: main()5. 常见问题、避坑指南与高分技巧5.1 爬虫环节常见问题Q1: 请求被拒绝返回状态码403或跳转到验证页面。原因请求头不完整或被识别为爬虫。解决使用完整的请求头特别是User-Agent,Referer,Accept-Language。使用requests.Session()保持会话。添加随机延时time.sleep(random.uniform(1, 3))。如果网站使用动态加载Ajax需要分析XHR请求直接调用数据接口用浏览器的“开发者工具”-“网络”标签查看。考虑使用更复杂的方案如Selenium模拟浏览器但效率低作为最后手段。Q2: 解析数据时find或find_all返回None或空列表。原因网页结构发生变化或你的CSS选择器/标签名写错了。解决立即检查将爬取到的HTML片段保存到文件用浏览器打开对比现在的页面结构。使用更通用的选择器优先使用class或id如果它们也变了尝试用父级标签层级定位。异常处理在解析每一部分数据时都用try-except包裹并为关键字段设置默认值保证程序不会因某一条数据解析失败而崩溃。Q3: 数据中有大量乱码。原因编码问题。解决在requests中设置resp.encoding resp.apparent_encoding或直接指定resp.encoding utf-8。保存文件时指定编码为utf-8-sig尤其对于CSV方便Excel打开。5.2 数据分析与可视化环节Q1: 图表中文显示为方框。解决在绘图前设置中文字体。import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, DejaVu Sans] # SimHei是黑体 plt.rcParams[axes.unicode_minus] False如果系统没有SimHei可以下载字体文件并指定路径或者使用‘DejaVu Sans’等支持中文的字体。Q2: 数据量太大Pandas操作慢。解决只读取需要的列pd.read_csv(..., usecols[col1, col2])。指定数据类型pd.read_csv(..., dtype{col1: int32})。对于超大文件考虑使用Dask库或分块处理。Q3: 想做的分析不知道用哪种图表。选择指南趋势折线图。对比柱状图分类对比、雷达图多维度对比。分布直方图、密度图、箱线图、小提琴图。构成饼图、环形图、堆叠柱状图。关联散点图、热力图。5.3 获取高分的额外技巧完整的项目文档写好README.md包括项目简介、环境配置requirements.txt、使用说明、各模块功能简介。这是专业性的体现。优雅的异常处理与日志在整个代码中合理使用try-except并记录日志可以用Python内置的logging模块而不是简单print。这能让程序更健壮也展示了你对工程化的理解。模块化与面向对象设计如本项目所示将爬虫、清洗、分析、可视化拆分成独立的类和模块。在答辩时你可以清晰地讲解每个模块的职责和交互。进行有深度的分析不要只做简单的统计和画图。尝试提出假设并验证。例如“高评分的剧集其评论的情感积极比例是否显著更高”、“评分人数是否与剧集的播出平台有关”。用数据支撑你的结论。可视化美学不要使用默认的丑图表。学习Seaborn的配色主题sns.set_theme()调整图表尺寸、标签字体、图例位置让图表看起来专业、美观。扩展展望在报告或代码注释中提及项目可以如何扩展例如使用Scrapy框架重写爬虫以提高效率和可维护性。集成SnowNLP或TextBlob进行更准确的情感分析。使用Pyecharts或Plotly制作交互式可视化仪表盘。将项目部署为简单的Web应用使用Flask或Streamlit。 这展示了你的学习潜力和对技术发展的关注。6. 项目总结与个人体会走完这一整套流程你会发现一个高质量的“爬虫可视化”大作业其核心价值不在于代码本身而在于解决问题的完整思路和严谨过程。从最初的目标定义、技术选型到中期的数据获取、清洗、存储再到最后的数据分析与故事化呈现每一步都需要思考和权衡。我个人在带学生项目时最深的一点体会是很多同学把90%的精力花在爬虫上却用10%的时间草草做分析和可视化。这完全是本末倒置。爬虫是手段不是目的。项目的亮点和深度恰恰体现在你对数据的理解和诠释上。为什么这个剧集评分先高后低是剧情崩了还是竞争对手上线了不同类型的剧集评分分布差异背后反映了怎样的观众偏好这些基于数据的洞察才是老师最想看到的“思考的火花”。最后再分享一个让代码更“像样”的小技巧使用类型提示Type Hints。在函数定义时注明参数和返回值的类型这不仅能让你的代码更易读、更专业现代Python项目的标配还能借助IDE获得更好的自动补全和错误检查极大提升开发效率。虽然对于期末作业不是必须但绝对是让人眼前一亮的加分项。希望这个详细的指南能帮你不仅完成一个“高分必过”的作业更能真正掌握数据获取与分析的完整能力。记住代码是写给人看的偶尔才是给机器执行的。清晰的结构、合理的注释、稳健的逻辑比任何炫技都更重要。本文还有配套的精品资源点击获取
Python爬虫与数据可视化：构建高分期末大作业的完整实践指南
简介本资源是一套完整的Python爬虫与数据可视化分析期末大作业项目代码面向高校计算机类、数据科学相关专业学生解决课程设计与期末大作业中缺乏可运行、可展示、可拓展实战案例的痛点。压缩包共39个文件含24个HTML可视化报告页面基于ECharts或Plotly生成、4个Excel原始与清洗后数据集涵盖Python、PyTorch、TensorFlow等技术岗位招聘数据、3个核心Python脚本GetData.py负责动态反爬采集、DataStorage.py实现SQLite存储、DataView.py驱动图表渲染以及chromedriver、环境配置yaml、SQL建表语句等配套文件整体6.68MB结构清晰、模块解耦。已有3403人学习下载代码全程中文注释覆盖请求伪装、Ajax数据提取、数据清洗、多维度统计与交互式图表呈现全流程小白可直接运行进阶者可基于现有框架快速二开适配新目标网站或分析维度。1. 项目概述不只是为了“高分必过”每到期末计算机、数据科学相关专业的同学总会为“大作业”发愁。一个典型的题目就是“Python爬虫数据可视化分析”听起来技术栈完整既能考察编程能力又能体现数据分析思维是老师眼中的“好题目”却常常是学生心里的“大麻烦”。网上流传着各种号称“高分必过”的项目代码下载下来却发现要么跑不通要么逻辑混乱注释全无离“优秀作业”的标准相去甚远。这个项目标题的核心其实指向了一个非常经典的“数据驱动”实践闭环从互联网上获取原始数据爬虫经过清洗和整理最终通过图表揭示其背后的规律和故事可视化分析。它考察的远不止是写几行requests和matplotlib代码而是完整的数据工程与数据分析能力。一个真正能拿高分的项目代码只是载体其内核在于清晰的问题定义、稳健的数据获取、严谨的数据处理以及有洞察力的可视化呈现。所以我们这次要聊的不是给你一份可以直接交差的“答案代码”而是带你从头到尾亲手构建一个结构清晰、鲁棒性强、分析有深度、可视化专业的真正符合“高分”标准的期末大作业项目。我们会选用一个贴近生活、数据源稳定、且有分析价值的主题——例如“分析主流视频平台热门剧集的评分与评论趋势”。通过这个项目你将掌握从环境搭建、爬虫编写、数据存储、清洗分析到可视化展示的全流程并理解每个环节背后的“为什么”从而具备举一反三的能力。2. 项目整体设计与核心思路拆解2.1 为什么选择“剧集评分评论分析”作为主题首先选题决定了项目的上限。一个好的课程设计主题应该具备以下几个特点数据可得性目标网站有公开、相对稳定的数据接口或页面结构。分析价值数据本身能支撑起有意义的分析维度如趋势、对比、分布、关联。技术综合性能覆盖课程要求的主要技术点爬虫、数据处理、可视化。可扩展性为可能的加分项如交互性、深度建模留出空间。“剧集评分评论分析”完美契合以上几点。以国内主流平台为例其剧集详情页通常包含评分、评分人数、短评/长评内容、发布时间等结构化或半结构化数据。我们可以分析趋势分析某部剧开播后评分随时间如每日的变化趋势。对比分析不同类型古装、现代、悬疑或不同平台剧集的评分分布对比。情感分析进阶对评论内容进行简单的情感倾向分析观察口碑变化。关联分析评分与评论数量、播出周期是否存在关联。这个主题生活化容易引起共鸣也便于向答辩老师阐述分析结论。2.2 技术栈选型与架构设计一个健壮的项目始于清晰的技术选型。以下是本项目的核心架构与技术栈每一部分的选择都有其考量数据源 (某视频平台) ↓ (HTTP请求) 爬虫层 (Requests BeautifulSoup4 / lxml) ↓ (数据解析) 数据存储 (Pandas DataFrame - CSV/JSON - SQLite) ↓ (数据清洗/转换) 数据分析层 (Pandas, NumPy) ↓ (结果生成) 可视化层 (Matplotlib Seaborn) ↓ (报告整合) 最终报告 (Jupyter Notebook / 独立脚本 图表)各层选型理由爬虫层Requests人性化、功能强大的HTTP库是发起网络请求的事实标准。BeautifulSoup4或lxmlHTML/XML解析库。BeautifulSoup4API友好适合初学者和快速开发lxml解析速度更快适合处理大量页面。本项目数据量中等两者皆可我们将以BeautifulSoup4为例。为什么不直接用ScrapyScrapy是强大的框架适合大型、复杂的爬虫项目。但对于期末大作业其学习曲线和项目结构可能过于沉重。用RequestsBeautifulSoup组合更能体现对HTTP请求、页面解析等基础知识的掌握也更容易被老师理解和评价。数据存储层Pandas DataFrame内存中的核心数据结构方便进行快速的数据清洗和转换。CSV/JSON文件作为中间或最终的数据持久化格式简单通用便于检查和分享。SQLite数据库可选但推荐作为更正式的数据存储方案。它无需单独服务器一个文件就是一个数据库非常适合本项目。将清洗后的数据存入SQLite能体现你对数据持久化和简单数据库操作的理解是重要的加分项。数据分析层Pandas数据处理的瑞士军刀提供了数据筛选、分组、聚合、合并等几乎所有必需的操作。NumPy提供高效的数值计算基础Pandas的底层依赖。可视化层MatplotlibPython绘图库的基石高度可定制化能绘制几乎所有类型的图表。Seaborn基于Matplotlib的高级接口默认样式更美观绘制统计图表如分布图、箱线图、热力图更加简便。为什么不用PyEcharts或Plotly它们能生成交互式图表非常炫酷。但在静态的课程报告通常是PDF或PPT中交互功能无法体现。MatplotlibSeaborn生成的静态图表印刷质量高且能完全展示你的定制化能力如字体、颜色、标注。可以在项目最后作为“扩展展望”提及。2.3 项目目录结构规划清晰的目录结构是专业性的体现。建议如下video_analysis_project/ ├── README.md # 项目说明文档 ├── requirements.txt # 项目依赖包列表 ├── config.py # 配置文件如请求头、数据库路径 ├── spider/ │ ├── __init__.py │ ├── crawler.py # 核心爬虫类 │ └── utils.py # 爬虫工具函数如请求重试、解析函数 ├── data/ │ ├── raw/ # 存放原始爬取数据JSON格式 │ ├── processed/ # 存放清洗后的数据CSV/SQLite │ └── cache/ # 缓存页面避免重复请求可选 ├── analysis/ │ ├── __init__.py │ ├── data_cleaner.py # 数据清洗模块 │ ├── analyzer.py # 数据分析模块 │ └── visualize.py # 可视化模块 ├── main.py # 主程序入口 └── report.ipynb # Jupyter Notebook分析报告这样的结构将爬虫、数据分析、可视化逻辑分离符合“高内聚、低耦合”的软件设计原则在答辩时能清晰地展示你的模块化思维能力。3. 核心模块实现与实操要点3.1 爬虫模块稳健地获取数据爬虫是项目的基石也是最容易出问题的环节。一个生产级的爬虫必须考虑反爬策略、异常处理和效率。3.1.1 请求头与会话管理直接使用requests.get()而不做任何伪装很容易被网站识别并封锁。我们必须让我们的请求看起来像一个真实的浏览器。import requests from fake_useragent import UserAgent class VideoSpider: def __init__(self): self.session requests.Session() # 使用会话保持cookies提高效率 self.ua UserAgent() # 基础请求头模仿浏览器 self.headers { User-Agent: self.ua.random, # 使用随机User-Agent Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.8,zh-TW;q0.7,zh-HK;q0.5,en-US;q0.3,en;q0.2, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1, } self.session.headers.update(self.headers) def get_page(self, url, paramsNone): 获取页面HTML包含重试机制 for i in range(3): # 重试3次 try: # 每次请求前更新一个随机User-Agent self.session.headers[User-Agent] self.ua.random resp self.session.get(url, paramsparams, timeout10) resp.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 简单检查是否返回了有效内容而非反爬页面 if len(resp.text) 1000 or 安全验证 in resp.text: print(f第{i1}次请求可能被拦截等待后重试...) time.sleep(5 * (i1)) # 等待时间递增 continue return resp.text except requests.exceptions.RequestException as e: print(f第{i1}次请求失败: {e}) time.sleep(2 * (i1)) print(f请求 {url} 失败已重试3次。) return None注意fake_useragent库需要安装(pip install fake-useragent)。在实际使用中它的UserAgent().random有时会失效一个更稳妥的方案是维护一个自己收集的常用浏览器UA列表进行随机选择。3.1.2 页面解析与数据提取假设我们要爬取某剧集的详情页需要提取剧名、评分、评分人数、短评列表等信息。from bs4 import BeautifulSoup import re import json def parse_detail_page(html, drama_id): 解析剧集详情页 if not html: return None soup BeautifulSoup(html, lxml) data {drama_id: drama_id} # 1. 提取剧名 (假设在h1标签里) title_tag soup.find(h1) data[title] title_tag.get_text(stripTrue) if title_tag else 未知 # 2. 提取评分和评分人数 (假设评分在class为‘rating_num’的span里) rating_tag soup.find(span, class_rating_num) if rating_tag: data[rating] float(rating_tag.get_text(stripTrue)) else: data[rating] None # 3. 提取评分人数 (假设在class为‘rating_people’的span里) people_tag soup.find(span, class_rating_people) if people_tag: people_text people_tag.get_text(stripTrue) # 使用正则表达式提取数字 match re.search(r(\d), people_text.replace(,, )) data[rating_count] int(match.group(1)) if match else 0 else: data[rating_count] 0 # 4. 提取短评 (假设短评列表在id为‘comments’的div里) comments [] comments_div soup.find(div, idcomments) if comments_div: comment_items comments_div.find_all(div, class_comment-item) for item in comment_items[:20]: # 只取前20条避免数据量过大 comment {} # 提取用户昵称 user_tag item.find(span, class_comment-info).find(a) comment[user] user_tag.get_text(stripTrue) if user_tag else 匿名 # 提取评分 (假设用‘rating’ class表示) star_tag item.find(span, class_rating) if star_tag and title in star_tag.attrs: comment[user_rating] star_tag[title] # 例如“力荐” # 提取评论内容和时间 content_tag item.find(span, class_short) time_tag item.find(span, class_comment-time) comment[content] content_tag.get_text(stripTrue) if content_tag else comment[time] time_tag.get_text(stripTrue) if time_tag else comments.append(comment) data[hot_comments] comments return data实操心得解析HTML高度依赖网站结构。务必在编写解析代码前仔细查看目标页面的实际HTML源码浏览器右键“检查”。网站改版会导致解析失败因此解析函数要写得健壮多用if判断标签是否存在并为关键数据设置默认值如None或空字符串。使用try-except包裹可能出错的解析步骤也是一个好习惯。3.1.3 数据存储与增量爬取一次性爬取所有数据风险高且不便于更新。应将爬取的数据及时保存。import json import os from datetime import datetime def save_raw_data(data, drama_id, data_dirdata/raw): 将原始数据保存为JSON文件 os.makedirs(data_dir, exist_okTrue) filename os.path.join(data_dir, fdrama_{drama_id}_{datetime.now().strftime(%Y%m%d)}.json) with open(filename, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2) print(f已保存原始数据至: {filename}) def load_existing_ids(data_dirdata/raw): 加载已爬取剧集的ID用于实现简单的增量爬取 existing_ids set() if os.path.exists(data_dir): for file in os.listdir(data_dir): if file.startswith(drama_) and file.endswith(.json): # 从文件名‘drama_12345_20231001.json’中提取ID try: drama_id int(file.split(_)[1]) existing_ids.add(drama_id) except (IndexError, ValueError): continue return existing_ids在主爬虫循环中可以先调用load_existing_ids跳过已爬取的ID实现最简单的增量逻辑。更复杂的增量需要对比数据内容如评论是否有更新。3.2 数据处理与分析模块从原始数据到干净数据爬取到的原始数据Raw Data通常是杂乱无章的必须经过清洗Data Cleaning和转换Data Transformation才能用于分析。3.2.1 数据清洗与整合我们将多个JSON文件整合到一个Pandas DataFrame中并进行清洗。import pandas as pd import numpy as np import glob class DataCleaner: def __init__(self, raw_data_pathdata/raw/*.json): self.raw_data_path raw_data_path def load_and_concat_raw_data(self): 加载并合并所有原始JSON数据 all_data [] for file in glob.glob(self.raw_data_path): with open(file, r, encodingutf-8) as f: try: data json.load(f) # 将评论列表展开每条评论作为一行并关联剧集信息 drama_basic {k: v for k, v in data.items() if k ! hot_comments} for comment in data.get(hot_comments, []): row drama_basic.copy() row.update(comment) all_data.append(row) except json.JSONDecodeError as e: print(f解析文件{file}失败: {e}) if not all_data: return pd.DataFrame() df pd.DataFrame(all_data) print(f原始数据加载完成共 {len(df)} 条记录。) return df def clean_data(self, df): 执行数据清洗 if df.empty: return df # 1. 处理缺失值 # 评分缺失的用该类型剧集的平均分填充这里简化用全局平均分 global_avg_rating df[rating].mean() df[rating] df[rating].fillna(global_avg_rating) # 用户评分缺失的填充为‘未评分’ df[user_rating] df[user_rating].fillna(未评分) # 评论内容缺失的填充为空字符串 df[content] df[content].fillna() # 2. 数据类型转换 df[rating_count] pd.to_numeric(df[rating_count], errorscoerce).fillna(0).astype(int) # 将评论时间字符串转换为datetime类型 df[time] pd.to_datetime(df[time], errorscoerce) # 转换失败则为NaT # 3. 处理异常值 # 假设评分应在1-10之间超出此范围的视为异常 df.loc[~df[rating].between(1, 10), rating] np.nan df[rating] df[rating].fillna(global_avg_rating) # 再次用平均分填充异常值 # 4. 文本清洗以评论内容为例 # 去除首尾空格 df[content] df[content].str.strip() # 去除重复的空格和换行符 df[content] df[content].str.replace(r\s, , regexTrue) print(数据清洗完成。) return df def save_cleaned_data(self, df, output_pathdata/processed/cleaned_data.csv): 保存清洗后的数据 os.makedirs(os.path.dirname(output_path), exist_okTrue) df.to_csv(output_path, indexFalse, encodingutf-8-sig) # utf-8-sig解决Excel中文乱码 print(f清洗后数据已保存至: {output_path}) # 同时可保存到SQLite import sqlite3 db_path data/processed/video_analysis.db conn sqlite3.connect(db_path) df.to_sql(drama_comments, conn, if_existsreplace, indexFalse) conn.close() print(f数据已存入SQLite数据库: {db_path})3.2.2 核心数据分析数据清洗后我们就可以进行多维度分析了。class DataAnalyzer: def __init__(self, df): self.df df def basic_statistics(self): 输出基本统计信息 print( 数据集基本统计 ) print(f剧集数量: {self.df[drama_id].nunique()}) print(f评论总数: {len(self.df)}) print(f总体平均评分: {self.df[rating].mean():.2f}) print(f评分中位数: {self.df[rating].median():.2f}) print(f评分标准差: {self.df[rating].std():.2f}) print(\n评分分布:) print(self.df[rating].describe()) def rating_trend_by_time(self, drama_idNone): 分析评分随时间的变化趋势以天为单位 # 如果指定了剧集ID则分析单部剧否则分析整体趋势需要数据中包含‘rating’和‘time’字段 if drama_id: drama_df self.df[self.df[drama_id] drama_id].copy() else: drama_df self.df.copy() # 确保有时间字段且非空 if time not in drama_df.columns or drama_df[time].isnull().all(): print(无有效时间数据无法进行趋势分析。) return None # 按天聚合计算每日平均评分 drama_df[date] drama_df[time].dt.date daily_rating drama_df.groupby(date)[rating].mean().reset_index() return daily_rating def rating_distribution_by_genre(self, genre_coltype): 分析不同类型剧集的评分分布 if genre_col not in self.df.columns: # 如果数据中没有类型信息可以尝试从标题或人工标注获取这里假设有 print(f数据中无‘{genre_col}’列。) return None genre_stats self.df.groupby(genre_col)[rating].agg([mean, count, std]).round(2) genre_stats genre_stats.sort_values(mean, ascendingFalse) return genre_stats def comment_sentiment_analysis_simple(self): 简单的评论情感分析基于关键词 # 这是一个非常简单的示例实际应用应使用更成熟的模型如snownlp, jieba情感词典 positive_words [好, 棒, 精彩, 喜欢, 推荐, 好看, 优秀, 赞] negative_words [差, 烂, 无聊, 失望, 垃圾, 难看, 弃剧] def classify_sentiment(text): if not isinstance(text, str): return 中性 pos_count sum(word in text for word in positive_words) neg_count sum(word in text for word in negative_words) if pos_count neg_count: return 积极 elif neg_count pos_count: return 消极 else: return 中性 self.df[sentiment] self.df[content].apply(classify_sentiment) sentiment_dist self.df[sentiment].value_counts(normalizeTrue) return sentiment_dist3.3 可视化模块用图表讲述数据故事可视化是分析的“临门一脚”好的图表能瞬间传达信息。我们使用Matplotlib和Seaborn。3.3.1 评分趋势折线图import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei, DejaVu Sans] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号 sns.set_style(whitegrid) # 设置Seaborn风格 class Visualizer: staticmethod def plot_rating_trend(daily_rating_df, drama_title总体): 绘制评分随时间变化趋势图 if daily_rating_df is None or daily_rating_df.empty: print(无趋势数据可绘制。) return fig, ax plt.subplots(figsize(12, 6)) ax.plot(daily_rating_df[date], daily_rating_df[rating], markero, linewidth2, markersize5) ax.set_title(f《{drama_title}》评分每日变化趋势, fontsize16, fontweightbold) ax.set_xlabel(日期, fontsize12) ax.set_ylabel(平均评分, fontsize12) ax.tick_params(axisx, rotation45) # 旋转x轴标签 ax.grid(True, linestyle--, alpha0.6) # 在最后一个点标注数值 last_rating daily_rating_df[rating].iloc[-1] last_date daily_rating_df[date].iloc[-1] ax.annotate(f{last_rating:.1f}, xy(last_date, last_rating), xytext(10, 10), textcoordsoffset points, bboxdict(boxstyleround,pad0.3, fcyellow, alpha0.5), arrowpropsdict(arrowstyle-)) plt.tight_layout() plt.savefig(frating_trend_{drama_title}.png, dpi300, bbox_inchestight) plt.show()3.3.2 评分分布箱线图与小提琴图箱线图能展示数据的分布、中位数、异常值小提琴图结合了箱线图和密度图。staticmethod def plot_rating_distribution(df, genre_coltype, top_n10): 绘制不同类型剧集的评分分布箱线图小提琴图 # 选取评论数量最多的前N个类型 top_genres df[genre_col].value_counts().head(top_n).index plot_df df[df[genre_col].isin(top_genres)] fig, axes plt.subplots(1, 2, figsize(16, 6)) # 箱线图 sns.boxplot(dataplot_df, xgenre_col, yrating, axaxes[0], paletteSet2) axes[0].set_title(fTop {top_n} 类型剧集评分分布箱线图, fontsize14) axes[0].set_xlabel(剧集类型, fontsize12) axes[0].set_ylabel(评分, fontsize12) axes[0].tick_params(axisx, rotation45) # 小提琴图 sns.violinplot(dataplot_df, xgenre_col, yrating, axaxes[1], palettemuted, innerquartile) axes[1].set_title(fTop {top_n} 类型剧集评分分布小提琴图, fontsize14) axes[1].set_xlabel(剧集类型, fontsize12) axes[1].set_ylabel(评分, fontsize12) axes[1].tick_params(axisx, rotation45) plt.tight_layout() plt.savefig(rating_distribution_by_genre.png, dpi300, bbox_inchestight) plt.show()3.3.3 评论情感分布饼图staticmethod def plot_sentiment_pie(sentiment_series): 绘制评论情感分布饼图 if sentiment_series.empty: print(无情感分析数据。) return colors [#66b3ff, #ff9999, #99ff99] # 蓝红绿 explode (0.05, 0.05, 0.05) # 让每一块稍微分离 fig, ax plt.subplots(figsize(8, 8)) wedges, texts, autotexts ax.pie(sentiment_series.values, labelssentiment_series.index, autopct%1.1f%%, startangle90, colorscolors, explodeexplode) # 美化文本 for autotext in autotexts: autotext.set_color(white) autotext.set_fontweight(bold) ax.set_title(评论情感倾向分布, fontsize16, fontweightbold) plt.tight_layout() plt.savefig(comment_sentiment_pie.png, dpi300, bbox_inchestight) plt.show()4. 项目集成与主程序流程将上述模块串联起来形成一个完整的、可执行的工作流。# main.py import time from spider.crawler import VideoSpider from spider.utils import parse_detail_page, save_raw_data, load_existing_ids from analysis.data_cleaner import DataCleaner from analysis.analyzer import DataAnalyzer from analysis.visualize import Visualizer def main(): 主函数控制整个项目流程 print(开始视频剧集数据分析项目...) # 阶段一数据爬取 print(\n 阶段一数据爬取 ) spider VideoSpider() # 假设我们有一个剧集ID列表可以从某个列表页爬取这里手动定义示例 drama_ids [12345, 23456, 34567] # 替换为真实的剧集ID existing_ids load_existing_ids() for drama_id in drama_ids: if drama_id in existing_ids: print(f剧集 {drama_id} 已存在跳过...) continue print(f正在爬取剧集 {drama_id} ...) url fhttps://api.example.com/drama/{drama_id} # 替换为真实URL构造规则 html spider.get_page(url) if html: data parse_detail_page(html, drama_id) if data: save_raw_data(data, drama_id) print(f剧集 {drama_id} 爬取成功。) else: print(f剧集 {drama_id} 解析失败。) else: print(f剧集 {drama_id} 页面获取失败。) time.sleep(3) # 礼貌性延时避免对服务器造成压力 # 阶段二数据清洗与分析 print(\n 阶段二数据清洗与分析 ) cleaner DataCleaner() raw_df cleaner.load_and_concat_raw_data() if not raw_df.empty: cleaned_df cleaner.clean_data(raw_df) cleaner.save_cleaned_data(cleaned_df) analyzer DataAnalyzer(cleaned_df) analyzer.basic_statistics() # 分析特定剧集的评分趋势 target_drama_id drama_ids[0] daily_rating analyzer.rating_trend_by_time(target_drama_id) # 分析类型分布假设数据中有‘type’列 genre_stats analyzer.rating_distribution_by_genre(type) if genre_stats is not None: print(\n按类型统计的评分) print(genre_stats) # 简单情感分析 sentiment_dist analyzer.comment_sentiment_analysis_simple() print(\n评论情感分布) print(sentiment_dist) # 阶段三可视化 print(\n 阶段三数据可视化 ) viz Visualizer() if daily_rating is not None: target_title cleaned_df[cleaned_df[drama_id]target_drama_id][title].iloc[0] if not cleaned_df[cleaned_df[drama_id]target_drama_id].empty else str(target_drama_id) viz.plot_rating_trend(daily_rating, target_title) if genre_stats is not None and not cleaned_df.empty: viz.plot_rating_distribution(cleaned_df, type, top_n5) if sentiment_dist is not None: viz.plot_sentiment_pie(sentiment_dist) print(可视化图表已生成并保存。) else: print(未加载到有效数据请检查爬虫阶段。) print(\n项目执行完毕。) if __name__ __main__: main()5. 常见问题、避坑指南与高分技巧5.1 爬虫环节常见问题Q1: 请求被拒绝返回状态码403或跳转到验证页面。原因请求头不完整或被识别为爬虫。解决使用完整的请求头特别是User-Agent,Referer,Accept-Language。使用requests.Session()保持会话。添加随机延时time.sleep(random.uniform(1, 3))。如果网站使用动态加载Ajax需要分析XHR请求直接调用数据接口用浏览器的“开发者工具”-“网络”标签查看。考虑使用更复杂的方案如Selenium模拟浏览器但效率低作为最后手段。Q2: 解析数据时find或find_all返回None或空列表。原因网页结构发生变化或你的CSS选择器/标签名写错了。解决立即检查将爬取到的HTML片段保存到文件用浏览器打开对比现在的页面结构。使用更通用的选择器优先使用class或id如果它们也变了尝试用父级标签层级定位。异常处理在解析每一部分数据时都用try-except包裹并为关键字段设置默认值保证程序不会因某一条数据解析失败而崩溃。Q3: 数据中有大量乱码。原因编码问题。解决在requests中设置resp.encoding resp.apparent_encoding或直接指定resp.encoding utf-8。保存文件时指定编码为utf-8-sig尤其对于CSV方便Excel打开。5.2 数据分析与可视化环节Q1: 图表中文显示为方框。解决在绘图前设置中文字体。import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, DejaVu Sans] # SimHei是黑体 plt.rcParams[axes.unicode_minus] False如果系统没有SimHei可以下载字体文件并指定路径或者使用‘DejaVu Sans’等支持中文的字体。Q2: 数据量太大Pandas操作慢。解决只读取需要的列pd.read_csv(..., usecols[col1, col2])。指定数据类型pd.read_csv(..., dtype{col1: int32})。对于超大文件考虑使用Dask库或分块处理。Q3: 想做的分析不知道用哪种图表。选择指南趋势折线图。对比柱状图分类对比、雷达图多维度对比。分布直方图、密度图、箱线图、小提琴图。构成饼图、环形图、堆叠柱状图。关联散点图、热力图。5.3 获取高分的额外技巧完整的项目文档写好README.md包括项目简介、环境配置requirements.txt、使用说明、各模块功能简介。这是专业性的体现。优雅的异常处理与日志在整个代码中合理使用try-except并记录日志可以用Python内置的logging模块而不是简单print。这能让程序更健壮也展示了你对工程化的理解。模块化与面向对象设计如本项目所示将爬虫、清洗、分析、可视化拆分成独立的类和模块。在答辩时你可以清晰地讲解每个模块的职责和交互。进行有深度的分析不要只做简单的统计和画图。尝试提出假设并验证。例如“高评分的剧集其评论的情感积极比例是否显著更高”、“评分人数是否与剧集的播出平台有关”。用数据支撑你的结论。可视化美学不要使用默认的丑图表。学习Seaborn的配色主题sns.set_theme()调整图表尺寸、标签字体、图例位置让图表看起来专业、美观。扩展展望在报告或代码注释中提及项目可以如何扩展例如使用Scrapy框架重写爬虫以提高效率和可维护性。集成SnowNLP或TextBlob进行更准确的情感分析。使用Pyecharts或Plotly制作交互式可视化仪表盘。将项目部署为简单的Web应用使用Flask或Streamlit。 这展示了你的学习潜力和对技术发展的关注。6. 项目总结与个人体会走完这一整套流程你会发现一个高质量的“爬虫可视化”大作业其核心价值不在于代码本身而在于解决问题的完整思路和严谨过程。从最初的目标定义、技术选型到中期的数据获取、清洗、存储再到最后的数据分析与故事化呈现每一步都需要思考和权衡。我个人在带学生项目时最深的一点体会是很多同学把90%的精力花在爬虫上却用10%的时间草草做分析和可视化。这完全是本末倒置。爬虫是手段不是目的。项目的亮点和深度恰恰体现在你对数据的理解和诠释上。为什么这个剧集评分先高后低是剧情崩了还是竞争对手上线了不同类型的剧集评分分布差异背后反映了怎样的观众偏好这些基于数据的洞察才是老师最想看到的“思考的火花”。最后再分享一个让代码更“像样”的小技巧使用类型提示Type Hints。在函数定义时注明参数和返回值的类型这不仅能让你的代码更易读、更专业现代Python项目的标配还能借助IDE获得更好的自动补全和错误检查极大提升开发效率。虽然对于期末作业不是必须但绝对是让人眼前一亮的加分项。希望这个详细的指南能帮你不仅完成一个“高分必过”的作业更能真正掌握数据获取与分析的完整能力。记住代码是写给人看的偶尔才是给机器执行的。清晰的结构、合理的注释、稳健的逻辑比任何炫技都更重要。本文还有配套的精品资源点击获取