今天（北美太平洋夏令时间5月21日）今年度微软Build大会正式展开，微软首席执行官Satya Nadella一口气披露不少新进展，可分为2大类，包括专为AI开发优化的执行环境Windows Copilot Runtime，以及Copilot技术架构的重大更新。这2大类中就有新添的Phi-3 Silica多模态小型语言模型、GPT-4o正式在Azure AI Studio开发环境中上架、Azure AI Studio正式上线，甚至在数据分析平台Microsoft Fabric上，还添加即时智能（Real-time Intelligence）解决方案，可处理PB级流媒体数据等。

亮点1：为AI开发优化的Windows Copilot Runtime执行环境

Satya指出，70年前，科学家对计算机的期待是“计算功能理解我们吗？还是我们要理解它？”以及“计算功能帮助我们理解复杂数据吗？”这是70年来科学家追寻的2大目标。

这也是微软想实现的目标，他们的策略是通过智能助理Microsoft Copilot、AI笔记本Copilot+ PC和技术堆栈Copilot Stack来实现。其中一个重要基石，就是微软这次集成打造的执行环境Windows Copilot Runtime。

这个执行环境包括3个层面，首先是底层的AI框架和工具链，包括微软既有的AI框架DirectML、ONNX Runtime，以及Visual Studio Code AI开发工具组件等。

支持PyTorch原生，上千个Hugging Face模型可在Windows执行了

在底层中，Satya披露2大重点更新，一是开发者现在通过DirectML，就能享有Windows操作系统对PyTorch开发框架的原生支持。这意味着，Hugging Face上的上千个模型终于能在Windows中执行，同时，微软也正式推出GPU对PyTorch的支持，NPU支持也即将上线。

另一个底层更新是WebNN，也就是网页原生的机器学习框架，可在Windows作业程序中通过DirectML和ONNX Runtime Web来执行。这个WebNN目前为开发者预览版，它的出现，能让开发者更好地利用设备硬件资源，来提供更好的AI网页App体验。

新添33亿参数SOTA小模型Phi-Silica，另推多款API

往上一层，就是Windows Copilot函示库与设备端模型层。这层包含了由40多个设备端AI模型驱动的API、矢量存储库和算法。在这层的模型部分，Satya宣布Phi系列模型正式可用、Phi-3-vision开始预览，并披露最新、只有33亿参数的SOTA小型语言模型Phi-Silica，专为Copilot+ PC和NPU设计而成。

不只模型，在API部分也有重磅更新，包括Studio Effects、即时字幕翻译、OCR、Recall with User Activity和Phi Silica等API将于6月向开发者提供，之后会再纳入矢量嵌入、支持地端数据的检索增强生成（RAG）、文本摘要和其他API。

推出更多AI App，还集成第三方App强化AI功能

再往上一层，到应用程序和体验层，这层的新进展包括微软最新开发的AI App，如回顾（Recall）、图像创作（Cocreator）、即时字幕翻译（Live Caption）、风格编辑（Restyle Image）等。其中，回顾是通过对屏幕快照，来让用户以关键字，进行语义搜索、找出所需资讯，不论是网页、演示文稿还是对话都可以。图像创作则以小型语言模型和Stable Diffusion等扩散模型驱动，可根据文本提示和简单笔画，来产出逼真的图像。即时字幕则支持笔记本上任何音频的语言翻译，可将40多种语言翻译为英文，脱机也行。

同时，微软Windows Copilot Runtime还正集成多个第三方应用程序，如Davinci Resolve、CapCut、WhatsApp、Cephable、LiquidText、Luminar Neo等，要用NPU来优化这些程序的AI功能。

亮点2：更完善的Copilot技术架构

“我们一直是平台公司，要建造完整的技术架构！”Satya解释，Copilot技术架构（Tech Stack）就是一大重点，从底层开始向上，可分为AI基础设施、基础模型、数据、AI调度与工具链，以及最上层的微软Copilot/自建Copilot、Copilot插件等。微软今年大会的重点更新，也围绕这个架构展开。

就AI基础设施层而言，Satya回顾，光是去年，微软就在60多个区域构建数据中心，接下来则要在2025年前，全部采用再生能源，不产生任何碳排。同时，在硬件部分，微软还正式推出基于AMD最新Instinct GPU的处理器ND MI300X v5，可更快、更有效率执行AI应用，另也公开预览Cobalt 100芯片。

AI开发环境Azure AI Studio正式上架GPT-4o，纳入更多安全工具

在基础模型层部分，不只正式在Azure AI中上架GPT-4o，也和Hugging Face扩大合作、纳入所有Hugging Face模型到Azure AI Studio中，另也推出上述提到的42亿参数Phi-3-vision模型。而AI开发工具Azure AI Studio也正式上线，可用来打造AI应用。

甚至，在Azure AI Studio中，还包含即将上线的安全工具与功能，包括自定义类别（将上线）、提示盾（预览）、基准侦测（预览）等。而且，Azure AI Studio还推出定制化模型功能，允许用户用自己的数据训练定制化模型。

能即时处理PB级流媒体数据了，数据分析平台推出新功能

往上一层到数据层，重大更新莫属微软自家的数据分析平台Microsoft Fabric，特别针对企业难以处理的数据即时分析，推出一项无程序代码/低程序代码的即时智能（Real-Time Intelligence）SaaS解决方案。Satya强调，用户可通过这个功能，来更快速处理大量、颗粒度更细致的数据。

这项即时智能目前为公开预览版，因为无/低程序代码特性，分析师能简单上手，另也能针对专业开发者提供完整的程序代码使用界面。比如，巴西极限赛车队Dener Motorsport一直用这个平台来支持即时分析和通报，来维持最佳表现、确保车子状态，他们现在打算用即时智能，来在比赛当下，直接分析数据、调整赢赛策略。

不只是即时智能，为降低App开发门槛，微软还在Fabric平台中新添工作负载开发组件（Workload Development Kit），能让独立软件商和开发者，用来打造更一致的用户体验应用。

AI工具链新添更强大的开发插件GitHub Copilot Extensions

再来，在AI调度与工具链层，微软本身就有套AI专用的资讯检索平台Azure AI Search、预览版的AI程序开发工具GitHub Copilot Workspace。今天，Satya进一步推出程序开发插件GitHub Copilot Extensions，开发者可用通过自然语言和自己习惯的工具，来打造、部署云计算应用，完全不必离开开发环境IDE或GitHub网站。第一波新添16个插件，来自DataStax、Docker、LambdaTest、LaunchDarkly、Microsoft Azure和Teams、MongoDB等，创建更好的AI开发第三方生态系。

推出微软Copilot Connector，跨App、工作流程打造定制化智能助理

工具层之上来到应用层，在这层，微软推出Microsoft Copilot Connector连接器，可让Copilot助理排除障碍访问用户数据、跨App和工作流程处理，来帮助用户打造定制化模型。

不只如此，今年，微软继续延伸Copilot产品线，针对M365 Copilot推出协作助理Team Copilot，专门处理复杂的协作任务，比如可在协作工具Teams中管理会议、安排议程、管理时间和记录重点。同时，它还能管理Teams对话，摘要重要资讯、回复群组问题等。甚至能扮演PM角色，确保任务管理看板Planner中的每个项目顺利进行，同时也会在Loop应用中通知团队新消息、加强项目协作。这个Team Copilot预计今年晚些时候预览。

另一项Copilot产品线的延伸，则是在低程序代码助理开发平台Microsoft Copilot Studio中，新添代理（Agent）的能力类别，让开发者用来打造能主动回应数据和事件的智慧助理，还能执行特定任务和功能。微软表示，用这个新能力打造的Copilot助理，可用学习到的知识和用户反馈，来独立管理复杂、长期的业务流程，甚至能在遇到棘手问题时，寻求用户帮助。