LLM

Notes on Qwen2.5

Qwen2.5 技术报告总结

LLM

Dual Chunk Attention

无需训练的上下文扩展策略

LLM

Notes on Qwen2

Qwen2 技术报告总结

LLM

Notes on Qwen1.5

Qwen在24年1月份发布了Qwen1.5，包含 0.5B, 1.8B, 4B, 7B, 14B, 32B, 72B, 以及 110B 6个size，还有一个MoE模型。

LLM

Notes on YaRN

YaRN (Yet Another RoPE extentionN method) 时23年9月EleutherAI等提出来的一个扩展LLM上下文长度的方法，后来被Qwen系列模型所应用。