近万亿参数大模型跑进桌面，苹果和英伟达一起掀了AI PC的桌 - 用户帮助
在探讨个人AI应用时，端侧模型是不可避免的话题，但目前这类模型在处理复杂任务上仍显不足，根本原因在于模型规模与能力受限于硬件条件。
如今，前沿大模型的参数规模已逼近万亿级别，例如Kimi K3的公开参数高达2.8万亿，即使采用4-bit量化（牺牲部分精度以降低硬件需求），仅模型权重就需要约1.4TB的存储空间，实际运行时还需额外内存开销。
而主流消费级显卡的显存大多仅为8或12GB，少数高端型号也不过16、24或32GB，至于显存更高的专业显卡，整套系统的部署成本动辄六位数起步，让人望而却步。
因此，雷科技长期以来的观点是：端侧没有大模型，但这一看法如今已过时。因为前有英伟达RTX Spark，后有苹果Mac Studio，两家公司同时向“端侧大模型”这一目标发起冲击。
真正的AI PC，来了
不久前，Meta正式发布了8160亿参数的开源权重模型Muse Spark Open，苹果则通过MLX框架，让该模型在由M5 Ultra版Mac Studio组成的集群上完成了完整推理。 仅就参数量而言，Muse Spark Open在目前公开参数的大模型中已属第一梯队。
虽然顶配版Mac Studio价格不菲，但它至少能放在桌面上，并部署一个近万亿参数的模型，单这一点就相当令人惊叹。相比之下，英伟达的做法没那么夸张，他们的RTX Spark笔记本电脑只是将1200亿参数的模型塞进电脑。
过去，人们思考的是如何把模型“压缩”进显存；现在，巨头们直接打破常规，将“AI超级计算机”搬上办公桌。在雷科技看来，这基本宣告个人AI PC正式进入“千亿参数时代”。
看到这里，可能有读者会问：“8160亿参数以前不是需要H100服务器集群才能运行吗？怎么塞进桌面Mac Studio里？”
核心在于MoE架构与高带宽统一内存的结合。简单来说，Muse Spark Open虽有8160亿参数、256个专家网络，但每次生成Token时仅动态激活约420亿（42B）参数。
这就像一家拥有256名专科医生的超级医院，每次就诊只需8名对口专家会诊，单次计算量接近42B级别的模型，却能利用816B模型庞大的参数规模。
但MoE有一个关键门槛：模型的全部权重仍需存储在内存中，计算量可以节省，但内存容量无法省去。因此，苹果和英伟达瞄准了同一解决方案：将CPU和GPU整合到一个芯片中，然后用超大统一内存直接容纳模型权重。
苹果使用两台配备512GB统一内存的M5 Ultra版Mac Studio，通过雷电5连接组成分布式推理集群，利用两台设备总计1TB的统一内存容量装下816B模型。在此基础上，还可通过四台Mac Studio进行并行推理，在苹果公布的测试中，四机生成速度超过36Token/秒，足以满足许多日常开发场景。
尽管与部分云端模型的速度无法相比，但本地部署能让敏感数据尽可能留在设备上，并且在无网状态下也能使用，这对金融等领域的从业者极具吸引力。对于普通开发者而言，云端算力仍更便宜，因为部署一台512GB内存的M5 Ultra版Mac Studio，预计要花费十万元以上，具体价格还需等待苹果月底公布。
看到这里，不少朋友可能感到钱包一紧。那么，不买Mac Studio，选择RTX Spark笔记本电脑呢？虽然便宜些，但128GB版本也要4-5万元，尽管当前内存价格较高，但这个溢价依然令人咋舌。
花十几万部署AI大模型，到底图什么？
那么，既然端侧部署大模型的成本如此之高，为何还要推行？对个人用户而言，究竟有何用处？
说实话，如果日常仅用于翻译、写作等简单任务，云端API确实是最优选择。但当对AI的需求进入更深层次时，云端AI可能无法满足所有要求。以编程为例，随着代码规模扩大，AI Agent在任务过程中产生的Token消耗会急剧增加，其中相当一部分来自上下文回顾和测试。
这些额外推理成本并不低，尤其当需要进行持续测试和监控时。但如果端侧部署了120B甚至816B的模型，情况就完全不同了。开发者可以将这些琐碎的推理任务拆分给端侧模型，仅将复杂任务交给云端，这样边际推理成本就能大幅下降，无需为每次调用支付API费用。
此外，还有涉及本地计算机和数据安全的任务，如家庭智能设备管理、本地数据分析以及高保密要求的数据整理等，通过部署端侧模型可降低数据外传风险。
对于律师、金融分析师和部分程序员来说，这些投入可能完全值得，因为一旦数据泄露，损失往往远超设备成本。
另外，在AI视频创作领域，端侧模型能节省更多云端生成费用。创作者可在本地部署视频模型，以较低边际成本反复生成视频，待获得满意片段后，再上传至云端AI生成细节更丰富、效果更佳的完整视频，从而大幅降低前期“抽奖”成本。
对于普通用户而言，确实无需折腾大参数量的端侧模型，但对将AI作为生产力工具的用户来说，这不过是一笔投资。
英伟达追求便携，苹果狂堆算力
在雷科技看来，英伟达走的是“移动全能+CUDA生态下沉”路线。英伟达在RTX Spark上将定制Arm CPU与Blackwell GPU制成单芯片SoC，塞进华硕ProArt创16、联想YOGA Pro 15等轻薄机身中。
同时，英伟达联合微软在上市首日提供适用于Windows on Arm的原生PyTorch-CUDA版本（支持97%的热门Python软件包），并适配了本地AI Agent（如爆火的OpenClaw“AI龙虾”）、ComfyUI RTX Video超分插帧和DLSS 5游戏等多场景。
借助NVIDIA PAIR技术，笔记本在家可变为局域网“AI推理服务器”，供其他电脑调用。这些能力直接切中移动开发者的需求。简单来说，RTX Spark是为那些多数时间不在固定场所开发，同时对数据安全有高要求的开发者准备的。
在英伟达的构想中，RTX Spark PC可作为开发者的随身小助手运行端侧大模型，同时在能效上优于许多传统高性能笔记本电脑，移动使用时续航表现不错，还能兼顾创作、游戏等需求，即普适性。
而苹果则不同，他们走的是“极致能效比+桌面集群扩展”的重资产路线。 这套能容纳816B模型的设备，苹果并不指望用户随身携带，而是希望它在部分本地AI推理场景中，成为传统企业级服务器的替代方案。
对于小型企业和个人工作室而言，这套设备颇具吸引力。毕竟，相比昂贵的GPU服务器及配套维护成本，二三十万的Mac Studio集群倒显得不那么遥不可及。
无论是RTX Spark还是Mac Studio，都证明了一件事：“超大统一内存”正成为AI PC进化的重要方向。 尽管现阶段因内存涨价、芯片成本等原因，这类产品价格居高不下，但从以往经验看，随着行业持续推进统一内存技术，相关产品成本有望逐步下降。
不过就目前而言，这些“真正的AI PC”仍属于专业开发者、重度创作者和土豪极客的“玩具”。其中，苹果的多机并联方案是纯“人民币玩家”专属，且512GB版月底才上市；而英伟达RTX Spark虽2599美元起售，但能流畅运行120B模型的128GB满血版在国内普遍需4万元左右。
目前，华硕ProArt创16 RTX Spark、联想YOGA Pro 15 RTX Spark等首批机型已开始上市，苹果512GB版M5 Ultra也将在月底揭晓定价。后续如有机会，雷科技或许能搞一台华硕ProArt创16 RTX Spark进行评测，敬请期待。
本文来自微信公众号“雷科技”，作者：雷科技，36氪经授权发布。
