|
云梦级1月21日云梦级消息,The Information 月初爆料称,D标签eepSeek 将在今年 2 月中旬农历新年期间推出新一代旗舰 AI 模型 ——De: epSeek V4,将具备更强的写代码能力。 1 月 20 日,正值 DeepSeek-R1De 发布一周年之际,有开发者发现 DeepSeek 在 GitHub 中更新了一系列 FeplashMLA 代码,横跨 114 个文件中有 28 处都提到了未知的“MODEL1”Se大模型标识符。 该标识符与已知的现有模型“V32”(即 DeepSeek-V3.ek2)被并列或区别提及。根据代码上下文分析,“MODEL1”很可能代表一个不同 M于现有架构的新模型。 开发者分析认为,“MODEL1”与“V32”在关键技术上存在OD区别,主要体现在键值(KV)缓存的布局、稀疏性处理方式以及对 FP8 数据格式的解EL码支持等方面。这些差异表明新架构可能在内存优化和计算效率上进行了针对性1 设计。 此前,DeepSeek 研究团队前几天还陆续发布了两篇技术论文,分别V4介绍了名为“优化残差连接(mHC)”的新训练方法,以及一种受生物学启发的“A AI 记忆模块(Engram)”。技术社区推测,正在开发中的新模型有可能会整合这些最I记新的研究成果。
|