ARTICLE DETAIL

资讯详情

深耕编程入门与网站建设的一线实战洞察。

别再手动记弹幕了!手把手教你搭一套抖音直播数据采集流水线

别再手动记弹幕了!手把手教你搭一套抖音直播数据采集流水线 别再手动记弹幕了手把手教你搭一套抖音直播数据采集流水线【免费下载链接】DouyinBarrageGrab基于系统代理的抖音弹幕wss抓取程序能够获取所有数据来源包括chrome抖音直播伴侣等可进行进程过滤项目地址: https://gitcode.com/gh_mirrors/do/DouyinBarrageGrab作为直播运营我过去最头疼的不是涨粉而是每场直播结束后的数据复盘几小时的弹幕、几十条礼物、进进出出的观众全靠人手一条抄进表格抄到头昏眼花还总漏记。直到我在开源社区挖到DouyinBarrageGrab——一款基于系统代理的抖音直播数据采集程序能实时抓下弹幕、礼物、点赞、进房等几乎全部互动消息并通过 WebSocket 推给任意程序。这篇就是我从零跑通它的完整记录新手也能照着复制。从手抄数据到一劳永逸的转变以前我的复盘流程长这样开一个直播拿支笔蹲在屏幕前看到弹幕就抄看到礼物马上记下送礼人、礼物名和数量结束后数一遍进入人数、点赞总数再手动算男女比例……一场两小时直播下来光抄数据就要耗费半小时还经常漏掉关键信息。更别提想拿数据做弹幕互动小游戏语音播报感谢这类玩法靠手工完全无从下手。DouyinBarrageGrab 把这件事变成了流水线数据采集是自动的实时推送是自动的我只需要在程序端写点代码接收即可。它站在系统代理层看流量因此能覆盖到电脑上的所有抖音数据来源。先看清这台采集器能抓到什么它监听的消息类型共 9 类正好覆盖直播间互动的全部主流动作编号消息类型说明1弹幕消息用户发的普通弹幕含昵称、性别、内容2点赞消息单次点赞数与直播间总点赞3进入直播间谁进来了还带进入方式正常进入 / 分享进入4关注消息谁关注了主播5礼物消息礼物名、数量、连击次数、抖币价值6直播间统计当前在线人数、累计观看人数7粉丝团消息加入粉丝团、粉丝团升级8直播间分享分享到了微信、QQ、微博等哪个平台9下播直播结束可以触发收尾统计数据来源覆盖三条链路浏览器进程Chrome、Edge 等、抖音客户端和抖音直播伴侣这意味着无论观众从哪端进直播间消息都不会漏。启动三步一步都别跳想顺利跑通关键就在操作顺序上。第一步拿到程序。项目源码在 GitCode 上git clone https://gitcode.com/gh_mirrors/do/DouyinBarrageGrab如果只是使用直接下载发行版更省事解压就能跑。第二步以管理员身份启动。程序首次启动会提示安装自签名证书这是 HTTPS 抓取的前提必须点允许。它还需要管理员权限去配置系统代理所以别用普通权限双击。第三步先进程序再进直播间。这是最容易被忽略的一点——程序只能监听握手之后的数据包如果先打开直播间再启动程序前面的弹幕全收不到。正确姿势是把程序开着挂在后台再打开浏览器进入任意直播间。一切正常的话控制台会开始滚动彩色的消息不同颜色代表不同类型比如绿色是进房、红色是礼物一眼就能分清代理端口 8827 背后的那些事程序默认走系统代理抓包代理端口是8827。多数情况下你不用管它但有两个场景需要手动介入。场景一不想占用全局系统代理。可以把配置里的sysProxy关掉然后让浏览器单独指向代理。最简单的方式是给浏览器快捷方式加启动参数chrome.exe --proxy-server127.0.0.1:8827场景二用浏览器扩展来管理代理。推荐安装 SwitchyOmega切换起来最顺手在扩展商店搜switchyomega并安装装好后扩展栏里就会出现它的图标打开扩展新建一个情景模式类型选代理服务器把代理地址填成127.0.0.1端口填8827保存生效。注意别填成 WebSocket 服务端口那俩不是一回事进入直播间前把扩展切换到这个情景模式回到直播页就能看到数据开始流动了。一份看得懂的配置速览配置写在程序根目录的WssBarrageService.exe.config里改完必须重启才生效。新手只需关注这几项配置项作用建议processFilter过滤监听哪些进程的弹幕默认已含 chrome、msedge、直播伴侣一般不用动wsListenPortWebSocket 推送端口默认 8888被占用时改掉proxyPort系统代理端口默认 8827冲突时修改pushFilter决定推送哪些类型的消息留空代表全推forcePolling强制改用轮询获取弹幕断连频繁时打开稳定性优先barrageFileLog是否把弹幕写入本地日志文件需要留存数据时打开hideConsole隐藏控制台窗口后台常驻时打开一小段直观示意add keyprocessFilter value直播伴侣,douyin,chrome,msedge / add keywsListenPort value8888 / add keyproxyPort value8827 / add keyforcePolling valuefalse /让数据流进自己的程序采集只是第一步数据接出去才值钱。程序内置 WebSocket 服务任何语言都能连ws://127.0.0.1:8888实时收数据推送的消息是统一的 JSON 包装{ Type: 1, ProcessName: chrome, Data: {\User\:{\Nickname\:\某某\},\Content\:\这条弹幕内容\} }其中Type对应上文表格里的消息类型Data是消息体 JSON 字符串。项目仓库的Demos目录下已经备好了 Python 和 NodeJS 两套解析示例Demos/Python/main.py、Demos/NodeJS/main.js实体字段的注释则集中在BarrageGrab/Modles/JsonEntity/BarrageMessages.cs对着注释就能把字段含义吃透。拿 Python 示例跑起来几行代码就能在终端按类型着色输出还能顺手统计本场观看人数、男女比例和点赞总量。想玩互动游戏或语音播报也只需在收到对应类型消息时触发自己的逻辑即可。另有三个进阶能力值得一试远程控制向 WebSocket 地址发送{Cmd:xx,Data:xx}这样的控制包可以远程关闭、隐藏控制台、开关系统代理串口转发配置comPort项如COM1:9600弹幕能转发给串口设备适合做硬件弹幕墙之类的场景启用后程序会自动生成scripts/comPortFilter.js过滤模板直播间区分推送里带Owner字段描述主播信息做多直播间采集时用其中的SecUid或Uid作为唯一标识更可靠——RoomId每场直播都会变只能当场次标识。我替你踩过的坑收好这份清单先开程序再进直播间顺序反了收不到数据这是最最常见的翻车点管理员权限 关闭杀毒杀毒软件可能拦截证书安装或系统代理设置导致启动报错端口被占用提示以一种访问权限不允许的方式做访问套接字的尝试时去配置文件里换个端口弹幕时不时断连优先用 Chrome 或 Edge还断就打开forcePolling轮询虽然响应略慢但非常稳关闭程序后上不了网程序异常退出可能导致系统代理没恢复去系统设置里关掉使用代理服务器或者右键管理员运行仓库里的关闭代理.bat一键修复别指望全知全能只有到达客户端的数据才会被捕获被抖音服务器过滤掉的弹幕它也无能为力。当数据不再是黑盒跑通这套抖音直播数据采集流程后我的复盘从手抄半小时变成了自动汇总一键导出后来还顺手做了个简单的实时大屏礼物一刷屏就飘特效观众进来弹个欢迎语气氛直接拉满。无论是做直播数据分析、弹幕互动游戏还是搭建实时数据看板这套方案都够用。工具仅供学习研究使用别拿去采集他人直播间的用户信息。现在就 clone 一份把属于你的数据流水线搭起来吧。【免费下载链接】DouyinBarrageGrab基于系统代理的抖音弹幕wss抓取程序能够获取所有数据来源包括chrome抖音直播伴侣等可进行进程过滤项目地址: https://gitcode.com/gh_mirrors/do/DouyinBarrageGrab创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表