MLLM

Notes on Keye-VL

Keye-VL 是快手在 25 年 7 月份提出的一个 8B 的多模态大模型，其亮点为短视频理解能力。预训练包括 4 个 stage，使用了 600B token，后训练包括 2 个 stage，用于提升模型的 reasoning 和 non-reasoning 能力。

LLM Infra

LLM Parameter Computation

计算LLM的参数量

MLLM

Notes on Seed1.6

Seed 1.6支持 adaptive deep thinking, multimodal understanding,上下文长度为 256K

MLLM

Notes on V-Triune

统一的RL训练框架，用于提升VLM的感知和推理能力

LLM

Notes on Magistral

Magistral 是 Mistral 提出的一个 reasoning model 系列，主要针对 math 和 code 两个 domain