Command Code Unveils TEF Benchmark: Token Efficiency as the New 'Speed of Light' for AI Agents

核心信息

Command Code 发布了 TEF（Token Efficiency Frontier）基准，借鉴 NVIDIA 工程师的“光速”理念，将 token 效率视为 AI agent harness 的绝对性能天花板，并宣称其 shell 工具在每一步都处于帕累托前沿，可节省约 30% 的 token 开销。

要点

• TEF 是一个 token 效率的帕累托前沿基准，衡量 harness 在 token 消耗上的绝对表现，而非与竞争对手的相对数值。
• Command Code 认为“没有不好的模型，只有不好的 harness”，因此专注于为开放模型构建最 token 高效的 shell 工具。
• 官方声称该 shell 工具相比其他 agent 可节省“万亿级”token，并在完整 TEF 基准中每一步都占据前沿位置。