文章总结与翻译一、文章主要内容本文从物理学视角出发，研究大型语言模型（LLM）推理过程中内部隐藏状态随token的变化规律，核心围绕“动量-点困惑度力学”框架展开，具体内容如下：核心发现：类能量守恒现象提出一个结合隐藏状态变化率（类比动量）与模型下一个token确定性（用点困惑度PPL衡量）的“类能量”指标Et=12∥vt∥2⋅PPLtE_{t}=\frac{1}{2}\left\|v_{t}\right\|^{2} \cdot PPL_{t}E
Momentum Point-Perplexity Mechanics in Large Language Models
文章总结与翻译一、文章主要内容本文从物理学视角出发，研究大型语言模型（LLM）推理过程中内部隐藏状态随token的变化规律，核心围绕“动量-点困惑度力学”框架展开，具体内容如下：核心发现：类能量守恒现象提出一个结合隐藏状态变化率（类比动量）与模型下一个token确定性（用点困惑度PPL衡量）的“类能量”指标Et=12∥vt∥2⋅PPLtE_{t}=\frac{1}{2}\left\|v_{t}\right\|^{2} \cdot PPL_{t}E