最近，字节跳动的Seed团队在对DeepSeek-V4进行测试时，意外发现了一个引人关注的技术缺陷，这一缺陷表现得非常规律且令人困惑。研究人员在试图让模型补全FP8推理内核中的一行代码时，遇到了一个奇怪的现象——标准答案应为8，但模型却果断地选择了32。更为匪夷所思的是，研究团队并未对关键代码进行任何修改，只是在一些无关的代码注释前增加了装饰用的“=”符号。然而，模型的答案却在8与32之间不断摇摆，并且每隔4个Token就重复一次。这种现象显然不是简单的随机误差。

因此，Seed团队联合普林斯顿大学、斯坦福大学及加州大学伯克利分校的研究人员对DeepSeek-V4和其升级版本V4.1进行了系统性测试，并在最新发布的论文《周期性弱点：分块KV缓存压缩引发的相位敏感性》中，深入揭示了DeepSeek压缩稀疏注意力架构所隐藏的技术缺陷。在对128K长文本的检索实验中，研究发现，由于目标信息所处的位置不同，DeepSeek-V4-Flash的检索准确率竟然存在高达40.23个百分点的差距。这一发现为长文本处理的可靠性敲响了警钟。

值得庆幸的是，DeepSeek团队已经认识到这种由固定大步长造成的相位缺陷，并在后续的V4训练版本及V4.1中显著改善了这一问题，但仍旧未能完全消除性能的周期性差异。该团队将这一现象称之为“相位敏感性”，被视为在长文本压缩机制正常运行中难以避免的周期性弱点。 球友

更引人瞩目的是揭示这一隐蔽缺陷的贡献者，正是字节Seed的实习生兼普林斯顿大学的计算机系博士生朱星宇。在杜克大学完成本科教育后，他师从著名机器学习理论专家Sanjeev Arora，近年来已在学术界崭露头角，其研究成果曾被ICML 2025会议选中，并刚刚于今年获颁ICLR 2026 RSI Workshop的最佳论文奖。朱星宇在研究上下文错误对推理的干扰以及位置滑动对检索的影响方面，展现出敏锐而独到的视角。

该论文结构特异，全文达到65页，核心内容压缩在10页内，参考文献占3页，剩余的52页则是详细的附录。研究团队不仅展示了对数十种模型变体实施的因果干预和注意力头的消融实验，还提供了严谨的数学动力学证明，以一整套“白盒解剖”的证据为基础，展示了技术的脆弱之处。与其说这是一项简单的模型评测，不如说字节Seed团队围绕DeepSeek所揭示的异常现象，进行了深入且全面的技术溯源。

问题的根源，直指DeepSeek在为降低长文本计算成本而采取的核心策略——块压缩稀疏注意力（CSA）。要想深入理解这一Bug的起源，必须先审视DeepSeek-V4在长上下文结构设计中的运作。当输入文本扩展至128K字或更多时，传统Transformer的键值缓存（KV Cache）对显存的占用和吞吐会成倍增长。为此，DeepSeek-V4实施了两种激进的压缩注意力模式：CSA和HCA。CSA通过8的长度和4的步长进行了重叠滑动窗口的设计，直接将KV数据量削减四分之三，随后通过Indexer选择关键数据块进行稀疏计算；而HCA则减少得更为彻底，每128个Token强行合并为一，这使全局读取不再挑选。 球友

这一设计在工程实现上无疑带来了显著收益，使DeepSeek得以在低成本的基础上处理超长文本。然而，遗憾的是，这一架构在数学原理上却悄然打破了Transformer极其重要的平移对称性。在传统Transformer中，RoPE（旋转位置编码）所计算的仅是相对距离。在这种体系中，即使在句子开头、新框架的使用，或是多加一个空格，Token之间的相对坐标仍保持不变，模型的注意力分布依旧可靠。然而，随着CSA每向前走4个Token就进行一次打包，序列中的每个Token被赋予了隐性的物理属性——相位。这种相位，实际上是该Token的绝对位置除以步长4后所得到的余数。在全注意力模型中，词语所处的位置不会影响其编码方式，但在分块压缩机制下，模型显然对不同位置的信息拥有不同的处理方式。某些位置的数据能够被完整保留，然而其他位置的信息却可能在压缩中被忽视。