随着在信息检索和推荐系统中的应用不断深入大语言模型LLM为统一建模搜索和推荐这两种主要的信息获取路径提供了新的可能性。搜索刻画用户主动表达的即时信息需求推荐反映用户历史行为中积累的长期兴趣偏好二者虽然交互形式不同但本质上都服务于理解并满足用户的信息需求。如果能够在同一个大语言模型框架下统一建模这两类信号模型有望更完整地理解用户意图并提供更加个性化的信息获取体验。在这项工作中莱顿大学团队探索了在无需全参数微调的情况下将十亿参数级大语言模型用于统一搜索与推荐建模并提出GEMS 框架一方面通过多子空间梯度分解缓解跨任务梯度冲突另一方面通过零空间投影减少微调对大语言模型通用知识空间的扰动。相关研究论文已被 AI 顶会SIGIR 2026接收。论文链接https://arxiv.org/abs/2601.09496GitHub 地址https://github.com/Polaris-JZ/GEMS实验表明GEMS 能够在搜索与推荐任务上取得整体提升并为更稳定、部署友好、基于大语言模型的统一搜索推荐系统提供新的实现路径。研究背景搜索和推荐是现代信息平台中最核心的两类服务。搜索通常由用户主动输入查询反映即时信息需求推荐则根据用户历史行为建模长期兴趣偏好。二者交互形式不同但目标高度一致理解并满足用户的信息需求。近年来生成式推荐和大语言模型的发展为统一搜索与推荐提供了新的可能。已有方法通常将搜索排序和推荐排序都转化为条件生成问题模型根据用户查询、历史交互或二者的组合直接生成目标物品标识。这样的统一生成范式具有较好的灵活性也能利用预训练语言模型的语义理解能力。但当这一思路扩展到大语言模型时问题变得更加复杂。全参数微调训练和存储成本高难以扩展到更大的大语言模型LoRA 等参数高效微调方法虽然降低了成本却没有真正解决统一搜索与推荐中的任务冲突问题。具体来说搜索任务更关注当前查询与候选物品之间的语义相关性而推荐任务更强调用户历史行为中的长期偏好和协同过滤信号。二者优化目标并不完全一致在共享同一模型参数时一个任务的梯度更新可能会损害另一个任务的性能导致联合训练不稳定。与此同时面向搜索与推荐数据的微调还可能扰动大语言模型原本的通用语义知识使模型出现用户意图理解偏移微调前能够正确理解的查询或偏好微调后反而可能生成与真实意图不一致的结果。图在大语言模型中统一搜索与推荐中的两个关键挑战。图 (a) 展示了在 PEFT 设置下搜索任务与推荐任务在不同大语言模型层中存在明显梯度冲突图 (b) 展示了微调可能导致的用户意图理解偏移即模型在微调前能够正确理解用户需求但微调后可能受到任务数据过拟合影响生成与真实意图不一致的结果。因此统一搜索与推荐并不只是“如何把两个任务放进一个模型”或“如何减少微调参数”的问题。更关键的是如何在避免全参数微调高成本的同时缓解搜索与推荐之间的梯度冲突并保护大语言模型原有的通用语义理解能力。研究方法为了解决上述问题论文提出了 GEMS。其基本思想是将梯度更新组织在低维梯度子空间中并进一步把搜索和推荐的优化信号分解到不同子空间中。GEMS 包含两个核心模块Multi-Subspace Decomposition和Null-Space Projection。图GEMS 框架总览。GEMS 在统一搜索与推荐训练过程中首先分别计算搜索和推荐任务的梯度并通过多子空间分解将其划分为共享子空间、搜索特定子空间和推荐特定子空间随后利用自适应融合机制整合不同子空间的更新最后通过零空间投影约束更新方向减少对大语言模型通用知识空间的扰动。1.多子空间分解缓解搜索与推荐之间的梯度冲突GEMS 首先将优化空间划分为三个互补子空间共享子空间、搜索特定子空间和推荐特定子空间。共享子空间用于捕捉搜索和推荐共同需要的信号例如用户兴趣、物品语义以及二者之间的通用匹配模式。搜索特定子空间用于建模查询语义和 query-item relevance。推荐特定子空间则负责捕捉长期用户偏好、行为序列模式和协同过滤信号。这种设计的好处是搜索和推荐中一致的优化方向可以进入共享子空间而潜在冲突的任务特定信号则被限制在各自子空间中。换言之GEMS 不是简单地把两个任务的梯度混在一起而是显式地区分“共同有用的信号”和“任务特有的信号”从而减少破坏性干扰。此外GEMS 还设计了自适应门控机制根据任务损失、梯度范数和 batch 中样本比例等训练动态自动调整搜索特定子空间和推荐特定子空间的贡献。这使得模型能够在训练过程中动态平衡两个任务而不是依赖固定权重进行简单加和。2.零空间投影保护大语言模型的通用知识除了缓解任务冲突GEMS 还关注另一个重要问题微调是否会破坏大语言模型原有的通用语义能力。为此论文提出Null-Space Projection。该模块首先使用通用语料估计大语言模型预训练表示中的主导知识空间然后将任务微调产生的更新投影到该知识空间的正交补空间中。直观理解就是尽量避免模型沿着“承载通用知识的主要方向”发生过大改变。通过这种方式GEMS 允许模型学习搜索与推荐任务所需的新信息同时降低对原有语言理解和推理能力的破坏风险。这一点对于统一搜索与推荐尤其重要因为用户意图理解往往高度依赖大语言模型的通用语义能力。研究结果论文在两个包含搜索与推荐行为的数据集上进行了实验包括 Qilin 和 Amazon。实验覆盖推荐和搜索两个任务并与传统搜索/推荐模型、生成式统一搜索与推荐方法以及 LoRA、LoRA-MoE 等参数高效微调方法进行了系统比较。实验结果显示GEMS 在不同数据集和不同任务上均取得了最优或接近最优的表现。尤其是在 T5-base 和 Qwen2.5-3B-Instruct 两类 backbone 设置下GEMS 都能保持稳定优势说明该方法不仅适用于中等规模预训练模型也能够扩展到十亿参数级别的大语言模型。图GEMS 在 T5-base 上的搜索与推荐结果。图GEMS 在 Qwen-3B 上的搜索与推荐结果。消融实验进一步验证了两个核心模块的必要性。移除 Multi-Subspace Decomposition 后模型性能明显下降说明显式区分共享信号与任务特定信号对于缓解搜索和推荐之间的干扰至关重要。移除 Null-Space Projection 后模型虽然仍能取得一定提升但整体表现弱于完整 GEMS说明保护预训练知识对于稳定意图理解同样关键。图GEMS 核心模块的消融实验。论文还进行了梯度冲突分析。结果表明相比普通 PEFT 方法GEMS 在大语言模型各层中都能显著降低搜索与推荐之间的梯度冲突尤其是在 attention 相关层中表现更稳定。这说明 GEMS 的优势不仅体现在最终指标上也反映在优化过程本身。图GEMS 与 PEFT 的梯度冲突对比。此外用户意图保持实验表明普通 PEFT 方法更容易出现“微调前预测正确、微调后预测错误”的情况而 GEMS 能够明显减少这类退化。这说明其零空间投影机制确实有助于缓解微调带来的语义漂移和意图理解偏移。图用户意图理解保持能力分析。GEMS 的一个重要优势是它并不需要在模型中长期保留额外 adapter 参数。与 LoRA 或 LoRA-MoE 不同GEMS 直接在原始参数空间中进行子空间优化训练时通过低维梯度子空间进行参数更新并避免在推理阶段引入额外 adapter 模块。这使得 GEMS 具有较好的部署友好性。对于真实搜索与推荐系统而言在线服务阶段的模型存储、推理延迟和系统维护成本同样关键。GEMS 不仅关注如何避免全参数微调带来的高成本也考虑了大模型在统一搜索与推荐场景中的实际可用性。更重要的是GEMS 将统一搜索与推荐中的两个核心问题即任务冲突和知识保持放在同一个优化框架中处理。相比单纯增加模型容量或引入更多专家模块GEMS 从梯度几何结构出发提供了一种更加直接和可解释的解决路径。未来方向这项工作探索了大语言模型时代统一搜索与推荐的新方向。研究团队认为搜索查询和推荐行为可以被视为用户信息需求的两种互补表达前者反映即时意图后者刻画长期偏好。要真正统一二者模型不仅需要共享表示还需要处理不同任务之间的优化冲突并在适配任务的同时保留大语言模型原有的语义理解能力。GEMS 通过梯度多子空间调优和零空间投影为这一问题提供了新的解决方案。实验结果表明该方法能够在搜索和推荐任务上取得整体稳定提升同时缓解梯度冲突、减少用户意图理解偏移并具有较好的部署友好性。总体来看GEMS 展示了在大语言模型框架下统一搜索与推荐的一种可行路径不是简单地共享模型参数而是从优化过程本身出发显式处理搜索与推荐之间的任务差异并在任务适配和知识保持之间取得平衡。未来随着用户行为信号、搜索查询、对话交互和上下文信息进一步融合信息获取系统可能不再被清晰地区分为“搜索”或“推荐”而是走向更加统一、连续和个性化的智能服务形态。如何在同一个基础模型中稳定建模短期意图、长期偏好和动态上下文同时保持模型的通用理解能力和部署效率将成为基于大语言模型的信息检索与推荐系统的重要研究方向。GEMS 在这一方向上迈出了一步也希望为后续关于统一信息获取模型的研究提供新的思路。原文链接统一搜索与推荐大语言模型时代的信息获取新探索-36氪
