ARTICLE DETAIL

资讯详情

深耕编程入门与网站建设的一线实战洞察。

Mitigating the Threshold Priming Effect in Large Language Model-Based Relevance Judgments via Per...

Mitigating the Threshold Priming Effect in Large Language Model-Based Relevance Judgments via Per... 一、文章主要内容总结该研究聚焦于大型语言模型(LLMs)在相关性判断中存在的阈值启动效应(即先前评估文档的质量会影响后续判断,如先评估低质量文档后易给后续文档打高分,反之亦然),探索通过注入“大五人格”特质来缓解这一认知偏差。研究背景:LLMs日益成为信息检索(IR)领域自动化相关性标注的工具,但会继承人类认知偏差(如阈值启动效应),导致评估结果失真;心理学研究表明人格特质与认知偏差相关,且LLMs可通过提示词模拟特定人格。核心问题:RQ1:不同模拟人格在不同LLM上缓解阈值启动效应的整体表现;RQ2:不同任务类型(已知项目检索、探索性检索、利用性检索)下,各人格的缓解效果差异。研究方法:人格模拟:将大五人格(开放性、责任心、外向性、宜人性、神经质)各维度分为“高/低”两级,生成10种人格模拟指令,加默认状态共11种评估角色;批量评估实验:基于TREC 2021/2022深度学习赛道数据集,设计“前言(高/低相关性文档)+ 后记(目标文档集)”的批量评估流程,通过计算高/低阈值下后记文档相关性评分的差值(Δ)衡量启动效应强度。关键发现:特定人格(高开放性HO、低神经质LN、低责任心LC)能稳定降低LLM的启动效应敏感性;最优人格
返回列表