ARTICLE DETAIL

资讯详情

深耕编程入门与网站建设的一线实战洞察。

Label Studio Enterprise 2.34.0 发布全解读:Consensus 协议方法论、项目状态机与新分析仪表盘

Label Studio Enterprise 2.34.0 发布全解读:Consensus 协议方法论、项目状态机与新分析仪表盘 Label Studio Enterprise 2.34.0 发布全解读Consensus 协议方法论、项目状态机与新分析仪表盘【免费下载链接】label-studioLabel Studio is a multi-type data labeling and annotation tool with standardized output format项目地址: https://gitcode.com/GitHub_Trending/la/label-studio本文是 Label Studio Enterprise 2.34.0on-prem 自托管版发布说明的深度技术解读覆盖本版本最核心的四条升级主线协议Agreement计算的全面重构、项目与任务状态机FSM的引入、Analytics 新增的 Overview 与 Label Distribution 两大仪表盘以及 PDF 标注、Data Manager、SSO/SCIM 等多项功能增强。读者读完本文后将能完整掌握 2.34.0 的升级影响面、回填迁移backfill的必做事项、Consensus 与 Pairwise 两种协议方法论的选择依据以及各新功能在源码与配置层面的落地方式。版本概览与升级须知Label Studio Enterprise 2.34.0 发布于 2026 年 4 月 30 日对应 Helm Chart 版本 2.0.4。本次发布的主题是质量控制能力的大幅升级协议计算引入全新的 Consensus 方法论并支持按控制标签control tag精细配置、项目与任务开始具备贯穿整个标注工作流的生命周期状态、Analytics 新增跨项目概览与标签分布分析。⚠️升级前必须注意本版本要求执行回填脚本backfill scripts协议Agreement与项目/任务状态Project/Task States两项更新的计算逻辑只对新创建或新更新的项目与任务生效。若要确保历史数据也应用新逻辑必须在升级后运行官方提供的两个回填脚本Agreement migration when upgrading to 2.34 or later协议数据迁移Project and task state migration when upgrading to 2.34 or later项目与任务状态迁移。另外需要特别留意Agreement (Selected) 列的计算变更会影响到你在 Data Manager 中基于该列创建的所有过滤器升级后需重新检查这些过滤器的语义是否符合预期。协议Agreement计算全面升级协议即标注一致性也称 labeling consensus / annotation consensus用于衡量多个标注者对同一任务标注结果的一致程度是评估数据集质量、模型训练就绪度以及标注员绩效的核心指标。2.34.0 对协议计算做了一系列结构性调整以下逐一拆解。引入 Consensus 方法论与 Pairwise Averaging 二选一2.34.0 之前所有协议计算统一使用Pairwise方法论。本版本新增Consensus方法论你可以在Settings Quality Agreement下为项目选择计算方式方法论核心问题计算方式Consensus共识选择了最常见答案的标注者占比是多少一次性对所有标注者整体计算衡量标注者向共同答案收敛的程度Pairwise Averaging两两平均所有标注者两两之间的平均协议分是多少逐一计算每对标注者的协议分再取平均两种方法论均支持随时切换。需要说明的是仓库内 任务协议文档 明确指出Members Dashboard 中展示的所有协议分数仍固定使用 Pairwise 方法论计算这与项目级协议设置的切换相互独立。从方法论适用性看类别型categorical控制标签如 Choices、Rating天然产出 0/1 二值分数两种方法论都直接适用非类别型non-categorical控制标签如 RectangleLabels、Labels 等空间/几何标注产出 0.0~1.0 连续分数其中Consensus 方法论要求先通过阈值将连续分数二值化即必须使用带 (Threshold) 后缀的指标变体而 Pairwise 可直接对连续分数取平均。这一差异在 任务协议文档 的分类对比表中已有明确归纳。按控制标签独立配置协议指标此前如果标注界面包含多个控制标签例如同时有RectangleLabels、Choices、Rating你只能在Exact Match与Basic Matching之间二选一该指标会套用到每个控制标签上。现在在Settings Quality Agreement Columns中你可以为每一个控制标签单独选择内置指标。可用的内置指标在 内置协议指标参考 中有完整清单按标签类型划分部分示例如下指标适用标签方法论Exact Match全部标签Pairwise、ConsensusJaccard Similarity (Threshold)Choices多选Pairwise、ConsensusNumeric Difference (Threshold)Number、RatingPairwise、ConsensusIntersection over Union (Threshold)RectangleLabels、RectanglePairwise、ConsensusBrush Intersection over Union (Threshold)BrushLabels、BrushPairwise、ConsensusSpan Overlap (Threshold)Labels、ParagraphLabels、TimeSeriesLabels、TimelineLabelsPairwise、ConsensusText Similarity (Threshold)TextAreaPairwise、Consensus带(Threshold)后缀的指标将连续分数按阈值二值化为 1/0 匹配结果是Consensus 方法论下的必选形态。例如 协议指标参考 中给出的示例Span Overlap 得到连续分 0.53在阈值 0.5 下判定为匹配1.0在阈值 0.75 下判定为不匹配0.0而 Text Similarity 的默认阈值为0.85高于多数指标默认的 0.5反映自由文本标注需要较高相似度才视为一致。按控制标签筛选纳入协议计算的类别在Settings Quality Agreement Columns中带类别的控制标签如 Choices、Labels会为每个类别列出一个复选框。取消勾选某个类别即可将其从该控制标签的协议计算中剔除同时也会自动从该任务的整体协议计算中移除。这对于处理标签体系中存在歧义类别、或希望忽略低频边缘类别的场景非常实用。权重仅支持标签级配置协议权重的配置方式发生了变更变更前可以对控制标签及其内部类别分别配置权重变更后权重只在控制标签层级配置。当你为某个控制标签自定义权重时实际决定的是它对任务整体协议分的贡献比重——降低低价值标签的权重、突出关键标签的权重从而影响最终的任务级协议分。需要剔除某些类别时请使用上文提到的按控制标签剔除类别功能而不是类别级权重。按 任务协议文档 的说明默认情况下整体协议分是所有控制标签分数的均值权重设置即用于打破这一均等默认。Data Manager 新增按控制标签的协议列Data Manager 现在为每个控制标签提供独立的协议列取代了原先的Agreement (Selected)列。你可以利用这些列选择参与协议计算的标注者和/或模型通过列设置筛选参与方逐标签查看协议表现快速定位框选一致性高但分类字段一致性低这类局部质量短板。这正是 任务协议文档 中per-control-tag agreement问题级协议与overall agreement整体协议两级体系的界面落地。在协议计算的实现层面仓库的label_studio/feature_flags.json中存在fflag_utc_428_consensus_control_tag_agreement功能开关印证了按控制标签计算协议 Consensus 方法论作为独立功能模块逐步放量的工程事实。废弃的协议指标以下针对矩形、画笔、多边形的指标被移除F1 score at specific IOU threshold特定 IoU 阈值下的 F1Recall at specific IOU threshold特定 IoU 阈值下的召回率Precision at specific IOU threshold特定 IoU 阈值下的精确率任何仍在使用的既有项目会自动切换到标准 IoU 计算无需手动干预。协议相关的参考资源仓库内可继续深入阅读的资料任务协议文档Task agreement整体协议与按控制标签协议的层级关系、类别型/非类别型标签的计算差异、两种方法论的完整算法示例内置协议指标参考Built-in metrics reference全部内置指标的公式、示例与阈值行为自定义协议指标Custom agreement metrics编写自有指标的扩展入口。项目与任务状态机Project and Task States2.34.0 起项目与任务会根据你在其上执行的操作及其在流程中的位置呈现明确的状态。这是本版本在工作流可观测性上的重大变化。项目状态项目在从创建到完成的生命周期中依次经历以下状态状态描述Initial已创建项目但尚未创建任务或配置标注界面Setup In Progress已创建项目且已创建任务或配置了标注界面但两者未同时完成Personal Sandbox 中的项目在移入共享 workspace 前无法越过此状态Ready to Publish已有任务且已配置标注界面但尚未发布项目Published项目已发布但尚无任何标注Annotating至少一个任务提交了至少一条标注标注工作已开始Needs Review所有任务已达到所需标注数量但仍存在需要审核的任务是否进入取决于项目设置与任务状态In Review所有任务均已收到至少一次审核但尚未全部完成审核Done所有任务均已完成状态流转主线为Created → Setup In Progress → Ready To Publish → Published → Annotating → Needs Review → In Review → Done其中Annotating在无需审核的设置下可直接跳转Done。任务状态任务的状态链路相对更短状态描述Initial任务已创建尚无标注Annotating已提交首条标注或被驳回的标注已重新排回标注队列Needs Review所需标注数量已完成任务可进入审核In Review任务内任一条标注已产生首次审核Done所有要求的标注与审核均已完成任务状态受项目设置直接影响Quality Overlap of Annotations决定任务在 Annotating 状态的停留时长overlap1 时首条标注提交即进入下一状态overlap1 时需达到要求的标注数量Review 相关的仅审核手动分配的任务与 Review Sampling 设置可能导致任务跳过 Needs Review 状态Task is reviewed when all annotations are reviewed开启后任务需全部标注被审核才从 Needs Review 流转到 Done否则任一条标注被接受/驳回即视为任务审核完成。项目状态由任务状态聚合项目进入Published状态后其后续状态由项目内任务的状态聚合决定——项目采纳任务中**最滞后least advanced**的状态。例如 10 个任务中 1 个处于 Annotating、6 个处于 In Review、3 个处于 Done则项目显示为Annotating。唯一的例外是Initial状态聚合计算时Initial 任务按 Annotating 任务处理。状态机的源码支撑仓库中label_studio/fsm/目录是这套状态管理的核心实现模块包含状态注册、状态推断、转移执行等基础设施state_choices.py通过register_state_choices(task/project/annotation)装饰器注册各实体的状态枚举构建状态选择注册表state_manager.py 与 state_inference.py负责状态的存储与自动推断project_transitions.py、task_transitions.py、annotation_transitions.py定义各类实体在不同操作触发下的状态迁移规则transition_executor.py状态转移的执行引擎。从开源版源码结构看社区版LSO的state_choices.py目前暴露的是简化状态集CREATED/IN_PROGRESS/COMPLETED而本文所述的 Enterprise 状态全集含SETUP_IN_PROGRESS、READY_TO_PUBLISH、PUBLISHED、ANNOTATION_IN_PROGRESS、NEEDS_REVIEW、REVIEW_IN_PROGRESS等以 API 值形式完整记录在 项目与任务状态管理文档 中两者共享同一套 FSM 注册/推断/迁移架构。状态变更历史可通过点击 Data Manager 中的状态查看。⚠️回填要求与协议更新相同项目/任务状态更新仅对新项目、新任务生效历史数据需运行Project and task state migration回填脚本。状态变更历史从状态管理对你组织启用之时Label Studio Cloud 多数组织为 2026 年 2 月才开始记录更早的变更不会出现在历史中。新增分析仪表盘Analytics Overview跨项目进度概览新增的Analytics Overview页面用于跨项目、跨 workspace 洞察指标与进度是分析入口的中心化起点。按角色划分的访问权限如下角色权限Owner / Admin可查看 Overview 仪表盘并可过滤所有 workspace 与项目Manager可查看 Overview 仪表盘但仅能过滤和查看其作为成员参与的 workspace 或项目Reviewer / Annotator无法访问 Overview 仪表盘打开 Analytics 时被重定向至 Member Performance 仪表盘且仅能看到自己的标注与审核历史Overview 页面支持按项目/workspace、日期范围过滤顶部汇总卡片展示所选范围内的聚合指标并配有项目进度图表与项目进度表格。由于状态是新引入的概念Overview 仪表盘不会反映状态管理启用之前发生的状态变更。更完整的页面说明见 项目概览仪表盘文档其中也包含与本文状态机章节相互印证的 Task/Project states 引用。此外Overview 与 Member Performance 仪表盘现在支持将过滤器保存为视图Save views方便团队沉淀常用的分析视角详见 Member Performance 仪表盘文档。Analytics Label Distribution标签分布分析新增的Analytics Label Distribution仪表盘用于洞察项目内标签的分布情况支持按维度dimension分析标签分布、查看标签明细表格支持的维度集合见 标签分布仪表盘文档。这对于发现类别不平衡、评估标注覆盖度等数据质量管理场景直接有用。组织成员标签与 GKE 服务账号模拟组织成员标签Tag Organization Members现在可以为组织成员添加元数据标签用于记录成员所在地、语言或其他属性。涉及三处界面组织Members表格新增Tags列可查看与应用标签组织页面新增Tag Members按钮支持导入 CSV 文件批量创建并应用标签新增Organization Settings Member Tags页面可手动创建或删除标签。GKE 部署的服务账号模拟为项目配置云存储时GKE 部署环境现在提供服务账号模拟service account impersonation选项具体配置方式见 GCP 存储文档 中的 Google Cloud Storage with service account impersonation for GKE 章节。PDF 标注增强按页分类Per-page classification使用支持perItemtrue参数的控制标签如 Choices、Rating、Taxonomy、Number、TextArea时现在可以将标注应用到单个 PDF 页面。该能力的底层语义在前端编辑器中有完整实现web/libs/editor/src/mixins/PerItem.js定义了 perItem 控制标签参数及相关基础功能Choices.jsx、Number.jsx、Rating.jsx、Taxonomy.jsx、TextArea.jsx等控制标签组件均通过该 mixin 支持逐项分类。参数校验层面ConfigValidator.js 会检查perItem与perRegion的互斥关系二者不能同时使用而 项目序列化器 在创建项目时会对perItem等属性的合法标签列表进行服务端校验确保配置在前后端保持一致。页面缩略图Page thumbnailsPDF 查看器现在可以为每一页显示缩略图缩略图会携带该页已有的页面级标注信息帮助标注者快速定位已标注页面避免重复劳动。Data Manager 增强过滤器能力升级Data Manager 过滤器新增以下能力复制与粘贴可在同一项目的不同 Tab 之间复制过滤器也可复制到其他项目的 Tab跨项目粘贴时不适用的字段会被自动移除复制为 JSON可将过滤器导出为 JSON 便于在外部编辑后再应用最近选择置顶最近三次的过滤器选择会显示在下拉菜单顶部预填最近选择新增过滤器时会预填最近的选择。行上下文菜单在 Data Manager 中右键点击任意行现在会弹出上下文菜单可直接执行针对该行的常用操作。其他 Data Manager 相关 UX 优化创建项目时Cloud Storage 选项的可见性提升项目列表视图现在显示项目 ID项目描述移动到标题下方新增自定义权限Access Project Members Dashboard用于控制谁能访问项目的 Members 仪表盘完整权限体系见 自定义权限文档。其他功能更新SSO/SCIM 设置重构SSO/SCIM 设置迁移至Organization Settings SSO SCIM并改进了引导式配置流程支持自动 XML/URL 元数据字段映射降低手动配置成本。ReactCode 权限配置管理员现在可以在Organization Usage License配置 ReactCode 权限包括启用 ReactCode或限制其仅允许在外部应用模式下使用配置允许的来源allowed origins以及 iframe 可访问的浏览器特性。禁用管理员/经理的数据导出新增环境变量可禁用 Data Manager 中针对 Administrators 和/或 Managers 的Export按钮DISABLE_EXPORT_FORAD,MA其中AD表示 Administrator、MA表示 Manager可按需组合。该变量适用于 on-prem 自托管部署的环境配置场景。GCP 支持自定义协议指标自定义协议指标Custom agreement metrics现在可在 Google Cloud Platform 上使用详见 自定义协议指标文档。Label Studio SDK 新增 CLILabel Studio SDK 新增了命令行工具CLI可通过命令行管理项目与任务将 SDK 的脚本化能力下沉到交互式终端场景。其余 UX 增强查看 Member Performance 仪表盘时Manager 现在只能看到自己所属项目/workspace 中的用户此前 Manager 能看到整个组织的用户列表尽管指标仅限自己参与的项目修复了组织页面中 Pending 用户显示 View Activity Logs 选项的问题见下文 Bug 修复。性能改进本版本包含两项针对性性能优化图片加载从源存储加载大量图片时改为交错请求staggered requests降低瞬时请求压力提升大批量图片加载的稳定性与感知速度任务切换在 Data Manager 中快速切换不同任务打开 Quick View 界面时响应性能得到改善。回填迁移Backfill Migrations再次强调本版本的升级关键动作协议与项目状态两类更新仅对新数据生效为确保历史数据同步应用新逻辑必须依次执行两个官方回填脚本Agreement migration when upgrading to 2.34 or later——将新协议逻辑含按控制标签指标、类别剔除、权重变更回填到历史任务Project and task state migration when upgrading to 2.34 or later——为历史项目与任务计算并写入状态。建议在升级窗口内完成回填并在回填后复查 Data Manager 中基于Agreement (Selected)列建立的过滤器该列已被按控制标签的协议列取代。安全更新修复了 Python 依赖中的多个安全漏洞。对于 on-prem 部署建议升级后立即检查镜像/依赖版本并重新构建。Bug 修复清单本版本修复的问题按功能域归类如下标注与编辑器修复BrushLabels的多个问题修复Compare All视图的相关问题修复HyperText标签在valueTypeurl时未对加载 HTML 内容中的 URL 进行预签名presign的问题修复 Dark Mode 下 Timeline 帧指示器与行高亮问题修复审核状态图标未出现在标注 Tab 上的问题。审核工作流修复在审核工作流中接受任务时标注与区域消失的问题。权限与角色修复 Manager 无法将用户分配到其创建的项目的问题修复 Admin 可配置组织级邮件设置应仅限 Owner的问题修复组织设置中更改用户角色触发运行时错误的问题。SSO/SCIM 与用户修复邮箱大小写不同导致 SSO/SCIM 重复创建账号的问题修复 Pending 用户出现在 Analytics 成员过滤器中的问题。Data Manager 与组织页面修复组织页面按角色过滤后清除过滤器无法重置视图的问题修复组织页面Last Activity列工作异常的问题修复部分 UI 元素将 prediction ID 误显示为 annotation ID 的问题修复Delete Annotations操作触发运行时错误的问题修复长 workspace 名称导致某些搜索与列表行为异常的问题。导入与提示修复标注者仍可看到导入数据页面尽管导入权限已被阻止的问题修复创建新 Prompt 时无法总是选择项目的问题。升级建议总结对于计划升级到 2.34.0 的团队建议按以下顺序执行阅读本文涉及的完整文档任务协议文档、内置协议指标参考、项目与任务状态管理、项目概览仪表盘、标签分布仪表盘规划回填窗口在低峰期执行协议迁移与状态迁移两个回填脚本复查既有过滤器检查所有基于 Agreement (Selected) 列的 Data Manager 过滤器逐项验证新功能按控制标签配置协议指标、启用 Consensus 方法论、确认项目/任务状态流转、试用新仪表盘与 PDF 按页分类更新部署配置如需限制导出权限配置DISABLE_EXPORT_FORAD,MA如需调整 ReactCode 权限与 SSO/SCIM进入 Organization Settings 完成设置。【免费下载链接】label-studioLabel Studio is a multi-type data labeling and annotation tool with standardized output format项目地址: https://gitcode.com/GitHub_Trending/la/label-studio创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表