17611538698
webmaster@21cto.com

微软 Build 2024:以Copilot AI 提高开发者生产力

资讯 0 803 2024-05-22 06:00:40

图片

Microsoft 的年度开发者大会“Microsoft Build”于当地时间21日的华盛顿州西雅图隆重拉开帷幕。

本次 Microsoft Build 大会的主题是“利用人工智能提高开发者的生产力”。

序幕

微软首席执行官萨蒂亚·纳德拉 (Satya Nadella) 在媒体活动中表示:

“我们相信人工智能将会分布式发展。最丰富的人工智能体验将充分利用云端和边缘计算的协同作用。”

图片

当天的Build大会可谓内容丰富,是一场为全球开发者提供的一场AI盛宴。我们分别来一起品鉴参考,它给开发者们带来了哪些人工智能新产品、新技术。

Copilot + PC 

20日,微软在华盛顿雷德蒙德本部发布了一款新型人工智能电脑,即Copilot+ PC。注意:读音为Copilot Plus PC,并不是两个产品的加法。

图片

Copilot+ PC 是专为 AI 设计的新一代 Windows 计算机。Copilot+ PC 每秒能够执行超过 40 万亿次操作,可以访问高级 AI 大语言模型等等。

首先,集成让人工智能系统观察用户在计算机上所做的事情,以提供见解并回忆信息,作为副驾驶交互的一部分。

芯片制造商英特尔、高通和 AMD 正在与微软以及计算机设备制造商合作开发新的计算机或设备。

Copilot+ PC 包括新款 Surface 笔记本电脑和平板电脑,配备名为Prism 的模拟层,可与 Windows 上的 x86 应用程序无缝兼容。

该公司还强调了成功过渡需要开发者的支持,而高通骁龙 X Elite和 X Plus 处理器将直接与苹果的 M 系列 MacBook 竞争。

近40余个AI模型向开发者开放

图片


在Build大会上,微软Copilot+PC为基础,继续发布了扩展式人工智能底层或基础型产品。

包括直接内置于 Windows 11 中的新 AI 功能。

在幕后,微软公司现在有 40 多个 AI 模型在新的 Windows 11 上运行,这要归功于新的 Windows Copilot 运行时,该运行时还允许开发人员将这些模型用于他们的应用程序。

在大会上,微软提供了更多关于 Windows Copilot Runtime 工作原理的详细信息。

该运行时包含一个 API 库,开发者可以利用它来开发自己的应用程序,其中包含 AI 框架和工具链,旨在帮助开发者在 Windows 上发布自己的设备模型。

Windows 和 Surface 首席执行官 Pavan Davuluri 这样解释说:

“Windows Copilot 库包含可立即使用的 AI API,例如 Studio Effects、Live Captions Translations、OCR、Recall with User Activity 和 Phi Silica,这些 API 将于 6 月向开发人员正式开放。”

新的 Windows Copilot Runtime

新的Windows Copilot 副驾驶运行时(Runtime)正式发布。

图片

新的 Windows Copilot 运行时。图片来源:微软

开发者将能够利用 Windows Copilot 库将 Studio Effects、滤镜、肖像模糊和其他功能集成到自己的应用程序中。

据说 Meta 正在将 Windows Studio 效果添加到 WhatsApp 中,这样就可以在视频通话期间获得背景模糊和目光接触等功能。即使是实时字幕和新的人工智能翻译功能也可以被开发者使用,几乎不需要任何代码。

Recall

使用 Recall 轻松查找和记住你在 PC 上看到的内容,使用 Cocreator 直接在设备上近乎实时地生成和优化 AI 图像,并使用 Live Captions 跨越语言障碍,将 40 多种语言的音频翻译成英语。

微软昨天展示了其Recall AI 功能,允许 Copilot Plus PC 记录和存储用户在 PC 上所做的一切,以便你可以回忆记忆并通过时间线进行搜索。这一切都由一个新的 Windows 语义索引提供支持,该索引在本地存储这些数据,微软计划允许开发者构建类似的产品。

图片

微软消费者首席营销官 Yusuf Mehdi 表示说:

“我们将为使用 Vector Embeddings API 的开发者提供此功能,以便他们在自己的应用程序中以及应用程序数据中构建自己的矢量存储与 RAG。”

开发人员还可以通过向其应用程序添加上下文信息来改进 Windows 的新 Recall 功能,这些信息将输入到支持该功能的数据库中。

Davuluri 这样说道:

“这种集成可以帮助用户从你的应用程序中上次中断的地方继续,提高应用程序的参与度以及用户在 Windows 和你的应用程序之间的无缝流动,”

Fabric

昨天会议中的公告也与 AI 相关,包括 Microsoft Fabric 中的实时智能、进一步自定义 GitHub Copilot 体验的能力、Azure AI Studio 中 GPT-4o 的可用性等等。 

Microsoft Fabric 中的实时智能使公司能够“根据大量、时间敏感且高度精细的数据做出更快、更明智的业务决策”。

微软还发布了新的Microsoft Workload Development Kit,使开发人员能够在Microsoft Fabric中扩展应用程序。 

GitHub Copilot

接下来,该公司宣布了一组 GitHub Copilot 扩展,允许开发人员使用 Azure、Docker、Sentry 等服务定制他们的 GitHub Copilot 体验。 

例如,微软解释说,GitHub Copilot for Azure 允许开发人员在 GitHub Copilot Chat 中探索和管理他们的 Azure 资源、解决问题以及定位日志和代码。

Team Copilot

Copilot 的另一个更新是引入 Team Copilot,它是 Microsoft 365 的 Copilot 的扩展。我们可以从 Microsoft 365 中团队协作的任何位置(例如 Teams、Loop、Planner 等)访问 Team Copilot。 

例如,它可以通过管理议程、跟踪时间和做笔记来促进会议;通过在聊天中显示信息、跟踪行动项目和解决未解决的问题来充当合作者;或者作为项目经理来确保项目按计划进行并在需要团队成员的意见时通知他们。 

此外,Microsoft Copilot Studios 中还添加了代理功能。这将允许开发人员构建能够响应特定数据和事件的副驾驶。 

微软首席通信官 Frank X. Shaw 在博客文章中写道:

“使用这种新功能构建的副驾驶现在可以通过利用记忆和知识来独立管理复杂的、长期运行的业务流程,对操作和输入进行推理,根据用户反馈进行学习,并在遇到他们不知道的情况时寻求帮助。不知道如何处理。用户现在可以让 Copilot 为他们工作——从 IT 设备采购到销售和服务的客户礼宾,”

GPT-4o正式上架

微软还透露,GPT-4o 现已在 Azure AI Studio 中作为 API 提供,Phi-3-vision 也可在 Azure 中使用。 

图片

最后,该公司宣布与人工智能软件开发商 Devin 背后的公司 Cognition 合作。因此,Devin 现在将由 Azure 提供支持。

结语

图片

Windows 内部为开发人员提供的所有改进都是在新的 Arm 驱动系统以及AMD和Intel即将推出的 NPU 之上,用以构建更多 AI 应用的早期模块。

微软正在为开发人员构建用于 Windows 的人工智能应用程序的平台,现在正寄希望于当下成为下一个十年 Windows 开发的重要部分。

正如今天在 Build 的舞台上,Davuluri 站在一张幻灯片前,上面写着“Windows 是最开放的人工智能平台”,这表明这一刻对微软来说是多么重要。

随后,Stripe、MongoDB 和 Microsoft 的 GitHub Copilot 扩展预计将通过 Visual Studio Code Marketplace 提供。

其他人将能够参加副驾驶合作伙伴计划。一路下来都是副驾驶。

各位朋友,你对微软的Copilot怎么看?欢迎文底点评。

评论