面向大模型增强推荐链路的能力评测与归因研究——以电商场景为例

Capability Evaluation and Attribution for Large Language Model-Enhanced Recommendation Pipelines: A Case Study of E-commerce Scenarios

项目概述

推荐链路接入大模型后，点击率、nDCG 等端到端指标只能告诉你“变差了”，却说不清“坏在哪一步”。 本毕设面向电商场景，把推荐链路拆成意图理解、候选召回、排序决策、智能体执行等能力模块， 用一套三级评测 + 异常归因的方法，把问题定位到具体环节，并区分主要故障与下游级联影响。

• 研究对象：经典推荐链路、大模型混合链路、检索增强与智能体复合链路。
• 评测体系：端到端结果评测 → 业务过程评测 → 大模型增强过程评测，三级逐层下钻。
• 异常归因：基于模块依赖与分数变化，定位主要故障模块并给出证据链。

评测框架

核心结果

在受控扰动实验中，过程评测能比端到端指标更早捕捉异常信号，发现“端到端看不见”的隐藏故障， 并对主要故障与级联故障做出一定区分。

在线 Demo