微软将精简的 DeepSeek R1 模型引入 Copilot+ PC

DeepSeek 征服了移动世界，现在正在向 Windows 扩展——令人惊讶的是，它得到了微软的全力支持。昨天，这家软件巨头将 DeepSeek R1 模型添加到其 Azure AI Foundry，以允许开发人员使用它测试和构建基于云的应用程序和服务。今天，微软宣布将 R1 的精简版本引入 Copilot+ PC。

精简后的模型将首先应用于搭载骁龙 X 芯片的设备、搭载英特尔酷睿 Ultra 200V 处理器的设备，然后应用于基于 AMD Ryzen AI 9 的 PC。

第一个模型将是 DeepSeek-R1-Distill-Qwen-1.5B（即 15 亿参数模型），更大、更强大的 7B 和 14B 模型即将推出。这些模型将可从 Microsoft 的 AI Toolkit 下载。

微软必须调整这些模型，以优化它们，使其能够在配备 NPU 的设备上运行。严重依赖内存访问的操作在 CPU 上运行，而计算密集型操作（如变压器块）则在 NPU 上运行。通过优化，微软成功实现了快速的第一个令牌时间（130 毫秒）和短提示（少于 64 个令牌）每秒 16 个令牌的吞吐率。请注意，“令牌”类似于元音（重要的是，一个令牌通常不止一个字符长）。

微软是 OpenAI（ChatGPT 和 GPT-4o 的制造者）的坚定支持者和大量投资，但它似乎并不偏袒任何一方——它的 Azure Playground 有 GPT 模型（OpenAI）、Llama（Meta）、Mistral（一家 AI 公司），现在也有 DeepSeek。

无论如何，如果您更喜欢本地 AI，请先下载适用于 VS Code 的 AI 工具包。从那里，您应该能够在本地下载模型（例如，“deepseek_r1_1_5”是 1.5B 模型）。最后，点击 Playground 中的“尝试”，看看这个精简版 R1 有多智能。

“模型蒸馏”有时也被称为“知识蒸馏”，是将大型 AI 模型（完整的 DeepSeek R1 有 6710 亿个参数）尽可能多地将其知识转移到较小的模型（例如 15 亿个参数）的过程。这不是一个完美的过程，蒸馏后的模型不如完整模型那么强大——但其较小的尺寸使其可以直接在消费级硬件上运行（而不是花费数万美元的专用 AI 硬件）。

来源