Tag: LLM

All the articles with the tag "LLM".

从 GPT-2 到 KimiK3：七年 22580 倍的架构演进

Published: Jul 27, 2026 at 11:56 PM

从 GPT-2 的 softmax attention 出发，历经 Linear Attention、DeltaNet、Gated DeltaNet、Kimi Linear，最终到达 KimiK3 的混合架构。七年内模型参数增长 22580 倍，但真正的变化发生在注意力机制如何存储、更新和检索信息的方式上。
- llm
- transformer
- attention
- deep-learning
- architecture
- research
- kimi
- gpt
Kimi K3 与鹈鹕测试：跑一次 Prompt 比看 Benchmark 表格更有用

Published: Jul 17, 2026 at 12:11 AM

月之暗面发布 Kimi K3，2.8T 参数，$3/$15 定价，7 月底开源。Simon Willison 用他 21 个月的鹈鹕骑自行车 benchmark 做了测试，发现模型花 13241 个推理 token 生成一只鹈鹕，以及一个隐藏的 85 token system prompt。这篇分析聊聊 K3 的实际表现，和一个"玩笑 benchmark"为什么至今还能告诉我们真实的事。
- Kimi
- Moonshot
- LLM
- benchmark
- AI
无需 CS 学位，如何成为 AI 工程师：一份 12 个月的完整自学路线

Published: Jul 1, 2026 at 04:24 AM

AI 工程师是目前技术领域需求最高的角色之一，而且大多数公司看的是你交付过什么，不是你拿过什么学位。本文梳理了一条 12 个月的自学路径，分 6 个阶段从 Python 基础一路走到 LLM API、RAG 系统、Agent 构建、评估部署和求职，每个阶段都列出了该学什么、该构建什么、该产出的项目是什么。
- AI
- Career
- Python
- LLM
- RAG
GitHub Copilot Token 效率优化：缓存、工具搜索与传输层改进

Published: Jun 17, 2026 at 11:55 PM

VS Code 团队详解 GitHub Copilot agent 在按量计费模式下如何通过延长提示缓存、按需加载工具定义、切换 WebSocket 传输等手段降低 token 消耗和延迟，并公开了在不同模型上 A/B 实验的量化和生产验证数据。
- GitHub Copilot
- VS Code
- 性能优化
- LLM
- Token
用 AI Agent 把自然语言转成 SQL：三种方案的实验对比

Published: May 9, 2026 at 02:00 AM

微软 ISE 团队对比了 GitHub Copilot CLI、Microsoft Agent Framework 和 Azure Databricks AI/BI Genie 三种 NL-to-SQL 方案，在 LiveSQLBench 上进行系统实验。核心发现：运行时查询验证是准确率的命门，去掉后准确率从 76.92% 跌至 38.46%；领域提示（domain hints）能额外提升 14 个百分点；剩余 ~25% 的失败几乎都来自业务逻辑语义误解。
- NL-to-SQL
- LLM
- AI-Agent
- Azure
- SQL
- Machine-Learning
.NET AI 核心构建块：Microsoft.Extensions.AI 详解

Published: May 6, 2026 at 12:20 AM

微软发布了面向 .NET 开发者的 AI 基础构建块系列，本文聚焦第一块：Microsoft.Extensions.AI（MEAI）。它提供统一的 LLM 访问接口，支持 OpenAI、OllamaSharp、Azure OpenAI 等多家提供商，并内置结构化输出、中间件、多模态内容等能力，是构建 .NET 智能应用的基础。
- .NET
- AI
- Microsoft.Extensions.AI
- C#
- LLM
Claude Opus 4.7 系统提示词变化全解析

Published: Apr 20, 2026 at 01:02 AM

Anthropic 是少数公开发布系统提示词的 AI 厂商。本文梳理 Claude Opus 4.6 到 4.7 系统提示词的核心变更，包括行动优先策略、tool_search 机制、内容安全扩充以及冗余措辞的清理。
- Claude
- Anthropic
- AI
- Prompt Engineering
- LLM
用 LLM 维护知识库：Karpathy 的 LLM Wiki 模式

Published: Apr 7, 2026 at 01:00 AM

Karpathy 提出了一种用 LLM 持续维护个人 Wiki 的模式，区别于 RAG 每次从头检索，LLM 主动将新材料整合进已有知识网络，让知识库持续积累、交叉引用，而不是一次性的问答工具。
- LLM
- 知识管理
- RAG
- Obsidian
- AI
把 LLM 当知识库编辑：Karpathy 的个人研究工作流

Published: Apr 3, 2026 at 03:40 AM

Andrej Karpathy 分享了一套用 LLM 构建和维护个人研究知识库的完整方法：把原始文献编进 .md wiki，用 Obsidian 做前端，让 LLM 自主管理、查询和增强知识，而不依赖 RAG 或复杂向量数据库。
- LLM
- 知识管理
- Obsidian
- AI工作流

Tag: LLM

从 GPT-2 到 KimiK3：七年 22580 倍的架构演进

Kimi K3 与鹈鹕测试：跑一次 Prompt 比看 Benchmark 表格更有用

无需 CS 学位，如何成为 AI 工程师：一份 12 个月的完整自学路线

GitHub Copilot Token 效率优化：缓存、工具搜索与传输层改进

用 AI Agent 把自然语言转成 SQL：三种方案的实验对比

.NET AI 核心构建块：Microsoft.Extensions.AI 详解

Claude Opus 4.7 系统提示词变化全解析

用 LLM 维护知识库：Karpathy 的 LLM Wiki 模式

把 LLM 当知识库编辑：Karpathy 的个人研究工作流