一、实验目的结合自媒体多平台原始互动数据集依托助睿 ETL 工具完成完整的数据清洗与标准化预处理流程搭建规范结构化数据表为后续特征提取、可视化分析、运营洞察提供干净、可用的数据底座。掌握数据分析全流程前置环节的数据治理核心逻辑理解原始脏数据存在缺失、冗余、字段不统一、格式错乱等问题对后续分析结果的干扰明确数据清洗的必要性与行业标准处理规范。熟练运用助睿 ETL 各类基础组件实现多源自媒体数据的导入、排序、多条件过滤、空值填充、字段筛选、分组聚合、分支分流等操作能够根据两种不同分析需求设计双分支数据流。独立完成两张业务数据表的搭建全平台每日汇总统计表、B 站 CSDN 重点平台内容明细表掌握数据表字段定义、数据类型匹配、字段名称对齐等数据库规范要求。培养数据问题排查能力能够识别聚合报错、类型转换失败、字段匹配异常等 ETL 常见故障依据报错信息定位根源并给出标准化解决方案。二、实验环境项目说明实验平台助睿在线实验平台https://lab.guilian.cn/数据处理工具助睿ETL数据集成平台课程名称商业数据分析三、实验步骤3.1步骤1创建目标表在助睿ETL中创建两张目标表分别用于存储全平台汇总数据和重点平台明细数据。1summary_all_platforms全平台概况表该表用于存放所有平台的汇总数据字段设计如下字段类型说明crawl_dateDATE采集日期platformVARCHAR(20)平台名称content_countINT作品数量total_viewsINT总浏览数total_likesINT总点赞数total_favoritesINT总收藏数total_sharesINT总分享数total_coinsINT总投币数仅B站total_recommendINT总推荐数仅微信total_likes_zhihuINT总喜欢数仅知乎total_approvalsINT总赞同数仅知乎2content_analysis内容分析表该表作为实验二的输入字段与原始数据基本一致但只包含B站和CSDN的有效记录字段类型说明dateDATE采集日期author_nameVARCHAR(100)作者昵称titleVARCHAR(500)作品标题platformVARCHAR(20)B站 / CSDNlikesINT点赞数favoritesINT收藏数sharesINT分享数coinsINT投币数仅B站viewsINT播放量/阅读量urlVARCHAR(500)作品链接total_interactionINT互动总数has_bestTINYINT(1)是否含保姆级has_lowcodeTINYINT(1)是否含零代码has_practiceTINYINT(1)是否含实战has_tutorialTINYINT(1)是否含教程/指南has_pitTINYINT(1)是否含踩坑3.2步骤2导入原始数据将助睿ETL公共空间的「自媒体作品数据明细.csv」导入到自己的文件库中作为数据源输入。该数据集包含同学们在6月8日-6月15日提交的作品互动数据涵盖B站、CSDN、微信、知乎、小红书等多个平台。3.3步骤3全平台聚合统计分支1这是第一个数据分支用于生成全平台概况数据拖入「CSV文件输入」组件选择导入的自媒体作品数据明细.csv拖入「排序记录」组件按日期和平台排序拖入「分组」聚合组件分组字段日期、平台聚合方式所有数值字段全部取求和作品数量使用COUNT计数输出到 summary_all_platforms 表3.4步骤4过滤记录分支2这是第二个数据分支用于筛选有效数据做深度分析。使用「过滤记录」组件设置以下条件组合sql(平台 B站 AND 浏览数量 0)OR(平台 CSDN AND 浏览数量 0)过滤逻辑说明只保留B站和CSDN两个平台微信、知乎等平台浏览量大量缺失无法支撑有效分析删除两个平台中浏览量为0的记录聚焦真正产生用户互动的作品3.5步骤5填充缺失值在过滤后的分支中拖入「替换NULL值」组件值替换为未知填充空字符串勾选对作者名称、作品标题等可能存在空值的字段统一填充为未知3.6步骤6字段选择拖入「字段选择」组件只保留分析需要的字段其余全部剔除保留字段date, author_name, title, platform, likes, favorites, shares, coins, views, url注意事项剔除source_file等采集批次标记字段分析用不到保留coins投币数量作为B站特有的互动指标日期字段需重命名为date与目标表字段名一致3.7步骤7输出目标表拖入「表输出」组件将处理后的数据输出到 content_analysis 表。3.8步骤8执行转换流完整的转换流结构如下点击运行执行CSV文件输入├─→ 排序记录 → 全平台聚合统计 → 全平台概况表输出 (summary_all_platforms)└─→ 过滤记录 → 替换NULL值 → 字段选择 → 内容分析表输出 (content_analysis)四、遇到的问题及解决4.1问题1聚合字段找不到错误信息Aggregate subject field [content_count] couldnt be found!问题原因在聚合组件中错误地选择了content_count作为聚合字段但原始CSV数据中根本没有这个字段。content_count是目标表的输出字段名不是输入字段。解决方法作品数量应该通过对任意非空字段如title做COUNT计数得到将输出别名设置为content_count其他数值字段浏览量、点赞数等使用SUM求和4.2问题2字符串字段无法求和错误信息couldnt convert String to number问题原因对title等字符串类型字段使用了SUM聚合方式字符串无法进行数值求和运算。解决方法字符串字段只能用于COUNT计数聚合不能用于SUM求和统计作品数量时选择COUNT方式而非SUM4.3问题3字段名不匹配错误信息Unknown column crawl_date in field list问题原因数据流中的日期字段名是crawl_date但目标表content_analysis中的日期字段名是date字段名不匹配导致插入失败。解决方法在「字段选择」组件中将日期字段重命名为date确保输出字段名与目标表字段名完全一致。4.4问题4数据类型不匹配错误信息There was a data type error: the data type does not correspond to value meta [Date]问题原因CSV文件输入时日期字段被识别为字符串类型但目标表中该字段是Date类型写入时类型不匹配。解决方法在「字段选择」组件中将date字段的数据类型从String改为Date并指定正确的日期格式如yyyy-MM-dd。五、实验总结5.1实验成果本次实验依托全班自媒体多平台原始作品数据借助助睿 ETL 搭建双分支转换流完整完成数据清洗与预处理全流程产出两张标准化业务数据表。summary_all_platforms全平台概况汇总表以采集日期、平台为分组维度聚合每日作品总量、浏览、点赞、收藏、分享、投币、平台专属互动指标实现全平台运营数据宏观统计。content_analysis重点平台内容明细表筛选留存 B 站、CSDN 有效浏览作品统一填充空文本缺失值精简冗余字段统一日期字段格式与名称存储单条作品明细数据作为后续特征工程的基础数据源。完整数据流运行无报错原始 11612 条原始数据经分流处理输出 42 条全平台汇总记录、5702 条有效明细记录数据完整度、规范性均满足后续实验使用标准。5.2核心知识点 分支式 ETL 设计思维同一套原始数据拆分两条处理链路分别服务宏观平台统计、微观作品深度分析兼顾数据完整性与分析精准度是企业级数据处理常用设计思路。 标准化数据清洗流程多条件逻辑过滤剔除无效低质量数据、统一空值填充消除计算异常、字段裁剪去除无关采集字段、字段重命名与类型转换保证入库匹配。 分组聚合规则区分文本类字段仅支持计数统计数值互动字段使用求和聚合严格区分输出别名与原始字段避免聚合组件字段找不到报错。 数据类型一致性规范CSV 文本日期需手动转换 Date 类型数据流字段名必须与目标数据表完全一致否则会出现入库失败、字段不存在等问题。5.3心得体会本次实验让我建立起 “数据清洗是数据分析根基” 的核心认知未经处理的原始自媒体数据存在大量无效记录、空值、字段格式混乱问题直接使用会造成统计失真、图表失效数据治理是所有分析工作的前置硬性要求。双分支数据流设计打破了单一数据处理链路的局限让我学会基于业务分析目标拆分处理逻辑一份数据源同时支撑两类分析场景大幅提升数据复用效率该思路可直接迁移到企业多维度报表开发场景。实验过程中频繁遇到字段匹配、数据类型、聚合逻辑相关报错在逐一排查、调试组件参数的过程中系统掌握了 ETL 工具排错逻辑形成了 “先核对字段、再校验数据类型、最后检查聚合规则” 的故障排查思路夯实了数据处理工程师基础实操能力。同时我意识到标准化的表结构设计至关重要提前规划字段名称、数据类型、业务含义能大幅减少后续数据写入、特征计算、可视化环节的兼容问题养成规范建表、规范处理数据的职业习惯。
)
)
