Tag: Research
All the articles with the tag "Research".
-
从 GPT-2 到 KimiK3:七年 22580 倍的架构演进
Published: at 11:56 PM从 GPT-2 的 softmax attention 出发,历经 Linear Attention、DeltaNet、Gated DeltaNet、Kimi Linear,最终到达 KimiK3 的混合架构。七年内模型参数增长 22580 倍,但真正的变化发生在注意力机制如何存储、更新和检索信息的方式上。
-
AI 帮你写完代码,但你没学到东西——一项随机实验的结论
Published: at 09:00 AMAnthropic 的这项随机对照实验发现,使用 AI 辅助完成需要新技能的编程任务时,参与者的概念理解、代码阅读和调试能力平均下降了 17%,而完成时间却没有显著缩短。研究进一步识别出六种 AI 交互模式,其中三种能在借助 AI 的同时保留学习效果。