让AI学着“看菜下碟”，港中大等新框架让推理长度减少90%，准确率反增17%-灵析社区

让AI学着“看菜下碟”，港中大等新框架让推理长度减少90%，准确率反增17% 近年来，人工智能领域的推理效率一直是研究的热点。香港中文大学与新加坡国立大学的研究者提出了TON（Think Or Not）框架，旨在提高视觉语言模型（VLM）的推理效率。 "Image 10" (https://wm-ai.oss-cn-shanghai.aliyuncs.com/test/v2_4305707477d947baa72df6efc267c0e7@46958_oswg80446oswg693oswg168_img_000.jpg) 核心创新：引入“是否思考”的决策 TON框架的核心在于让模型决定何时思考。与传统的强化学习方法（如GRPO）不同，TON框架通过两阶段训练机制让模型学会在面对简单问题时跳过冗余的推理过程，而面对复杂问题时进行详细推理。研究表明，TON不仅有效减少了推理过程的长度，还提升了准确率。实验结果：推理效率大幅提升，准确率反而提升实验验证了TON框架的有效性，尤其是在CLEVR、GeoQA和AITZ等任务上，TON框架的平均推理输出长度减少了多达90%。尽管推理长度减少，模型的准确率却不降反升，某些任务上准确率提升了最高17个百分点。 "Image 11" (https://wm-ai.oss-cn-shanghai.aliyuncs.com/test/v2_d2521f44e1c44f3bb446e9df953a5e33@46958_oswg19279oswg569oswg102_img_000.jpg) TON框架不仅提高了推理效率，减少了计算开销，也可能为多模态助手、机器人等实时互动应用提供了显著的性能提升。 “按需思考”模式：让AI更接近人类的思维方式 TON框架引入的“按需思考”模式，能够让AI在面临不同难度的问题时调整推理策略。对于简单问题，模型能够迅速跳过不必要的推理，而在处理复杂问题时则保持详细的推理过程。这一创新的推理策略，不仅提升了推理效率，还能够让AI系统在与人类互动时表现得更加人性化。