Notes on olmoe

NUS 等提出了 OpenMoE, 一个全开源的 MoE 大语言模型系列,作者详细介绍了 MoE 中的 routing 机制

Notes on Qwen3 VL

Qwen 在 25 年 11 月 27 日发布了 Qwen3-VL 技术报告,作者强调了模型的纯文本理解能力,长文本能力以及多模态推理能力。

Notes on SAPO

Qwen 在 25 年 11 月提出了 SAPO,一个通过温度控制的 soft gate 以及非对称温度来解决 hard-clpping 存在的问题,从而提高 RL 训练的稳定性以及效率

Notes on DeepStack

作者提出了 DeepStack, 用于帮助MLLM更好地利用视觉信息,进而提高模型在下游任务上的表现