微軟深夜再掀 AI 生產(chǎn)力革命：阿爾特曼登臺(tái)“自曝”新模型、定制 Copilot

AI 生產(chǎn)力的革命，微軟怎會(huì)缺席？

在今天的開(kāi)發(fā)者大會(huì)上，曾經(jīng)誓要「顛覆」10 億打工人的 Copilot，依然是全程的主角。

▲ 沒(méi)想到 70 年后，還是要靠微軟重新定義軟件

不僅有 Copilot 加持的全新 AI PC，日常生活助手 Copilot，還有為全世界開(kāi)發(fā)者提供的 AI 工具堆棧。

更驚喜的是，Sam Altman 竟然在發(fā)布會(huì)的最后，被 CTO Kevin Scott 請(qǐng)上了臺(tái)！

兩人開(kāi)場(chǎng)先是一波寒暄，然后共同感慨，這簡(jiǎn)直是瘋狂的一周，瘋狂的一年！

針對(duì)前段時(shí)間的 OpenAI 離職潮，阿爾特曼似乎用了一些隱晦的話(huà)語(yǔ)來(lái)暗戳戳回應(yīng)：「為了讓 GPT 變得穩(wěn)健、安全，我們做了很多工作。OpenAI 創(chuàng)建了眾多團(tuán)隊(duì)來(lái)確保 LLM 按預(yù)期工作?！?/span>

三大殺器

過(guò)去的一年半里，世界發(fā)生了諸多變化，其中最令 Altman 本人震驚的事是什么？

Altman 表示，數(shù)百萬(wàn)開(kāi)發(fā)者是推動(dòng)過(guò)去一年里世界巨變的核心。

從 GPT-4 ，再到 GPT-4o 的發(fā)布，盡管模型 API 推出時(shí)間不久，但我從未見(jiàn)過(guò)一項(xiàng)技術(shù)能如此迅速地得到有意義的應(yīng)用。

人們正在構(gòu)建我們從未想過(guò)的創(chuàng)新應(yīng)用，完全展現(xiàn)了開(kāi)放 API 的價(jià)值所在。

而 Kevin Scott 也調(diào)侃道：看得出來(lái)，你們很好地利用了手里的超強(qiáng)超算。

▲ 2020 年交付的「鯊魚(yú)」級(jí)超算訓(xùn)出了 GPT-3，接下來(lái)的「虎鯨」級(jí)超算訓(xùn)出 GPT-4，而現(xiàn)在「鯨魚(yú)」級(jí)超算微軟正交付給 OpenAI

阿爾特曼還表示，新的模態(tài)和整體智能將是 OpenAI 下一個(gè)模型的關(guān)鍵。

他預(yù)計(jì)模型將會(huì)變得更智能、更強(qiáng)大，更安全，而且 GPT-4o 將會(huì)速度更快，成本更低。

是的，就像摩爾定律推動(dòng)信息革命一樣，Scaling Law 和模型架構(gòu)一起，改變了我們使用數(shù)據(jù)、生成數(shù)據(jù)的方式。

在這些縮放定律的影響下，我們擁有一個(gè)新的自然用戶(hù)界面，這是一個(gè)模型，這意味著支持文本、語(yǔ)音、圖像、視頻作為輸入和輸出。

Microsoft Copilot，是日常生活中的助手；Copilot stack，則可以讓我們構(gòu)建 AI 程序、解決方案等。

還有一個(gè)重頭戲，當(dāng)然就是昨天發(fā)布的全新 Copilot+ PC，它直接打破了紀(jì)錄，成為有史以來(lái)最快的 AI 電腦！

如今，Windows 成為了構(gòu)建 AI 應(yīng)用的最佳平臺(tái)。而這種影響，不啻于 Win 32 對(duì)圖形用戶(hù)界面的意義。

GitHub Copilot「插件商店」首發(fā)

繼 Copilot 成為最流行的代碼補(bǔ)全工具和「?jìng)€(gè)人助理」之后，微軟本次又更新了這個(gè)效率提升神器。

微軟表示，很多開(kāi)發(fā)者在代碼之外花費(fèi)了 75% 的時(shí)間，比如追蹤工作流、以及撰寫(xiě)需求文檔和規(guī)格說(shuō)明等。

不僅如此，定位和修復(fù) bug 的工作往往需要頻繁進(jìn)行上下文切換，開(kāi)發(fā)者在數(shù)據(jù)庫(kù)、IDE、代碼倉(cāng)庫(kù)、監(jiān)控工具、云平臺(tái)之間疲于奔命，無(wú)法專(zhuān)注于代碼本身。

這正是全新 GitHub Copilot 可以發(fā)揮作用的地方。

它可以通過(guò)對(duì)話(huà)的方式將所有流程整合在一起，幫你調(diào)用所有工具和平臺(tái)，開(kāi)發(fā)者只需要專(zhuān)注于 IDE 界面的核心代碼內(nèi)容，最大限度減少上下文切換。

不僅如此，基于強(qiáng)大的網(wǎng)絡(luò)搜索和推理決策能力，Copilot 還能回答關(guān)于開(kāi)發(fā)過(guò)程的問(wèn)題。

比如在下面這個(gè) demo 中，用西班牙語(yǔ)描述需求，Copilot 就可以自動(dòng)編寫(xiě)出代碼，并為 Azure 上的部署提供建議。

GitHub 產(chǎn)品副總裁表示：「使用自然語(yǔ)言編程將繼續(xù)降低軟件開(kāi)發(fā)的門(mén)檻。未來(lái)，10 億人可以利用 GitHub Copilot，以自然語(yǔ)言的方式與開(kāi)發(fā)技術(shù)棧中的任何工具集成，在 GitHub 上構(gòu)建代碼?！?/span>

GitHub Copilot 支持各種各樣的開(kāi)發(fā)工具和平臺(tái)，包括 DataStax, Docker, MongoDB, Octopus Deploy, Pangea, Pinecone, Product Science, ReadMe, Sentry, Stripe 以及微軟自家的 Office 全家桶、Azure 和 Teams。

GitHub 產(chǎn)品高級(jí)副總裁 Mario Rodriguez 表示：「我們的目標(biāo)是使 GitHub Copilot 成為最集成、最強(qiáng)大、最智能的 AI 平臺(tái)?！?/span>

在此基礎(chǔ)上延伸出的 Copilot Workspace 更是提高了開(kāi)發(fā)團(tuán)隊(duì)使用 GitHub 管理項(xiàng)目代碼的效率。

之前，用戶(hù)只能通過(guò) Git Bash 命令行上傳項(xiàng)目文件，圖形化界面能進(jìn)行的操作非常有限。

有了 Copilot Workspace，各種時(shí)間線(xiàn)和代碼分支一目了然，上傳文件也容易很多。

而且還提供了非常清晰的代碼變動(dòng)可視化界面，讓你自始至終都對(duì)項(xiàng)目有滿(mǎn)滿(mǎn)的掌控感。

截止目前，GitHub Copilot 仍處于內(nèi)測(cè)階段，之后將在 GitHub 插件市場(chǎng)中發(fā)布。

不僅如此，對(duì)開(kāi)發(fā)者來(lái)說(shuō)，更酷的是 —— 你可以定制自己的 Copilot 插件！

3 種方式，定義自己的 Copilot 插件

SharePoint

SharePoint 是微軟開(kāi)發(fā)的用于組織內(nèi)部存儲(chǔ)、管理和共享內(nèi)容的平臺(tái)，每天上傳數(shù)量超過(guò) 20 億條。

為了減少工作中搜索和篩選內(nèi)容的時(shí)間，微軟開(kāi)發(fā)了從 SharePoint 創(chuàng)建 Copilot 的功能。

任何擁有 SharePoint 網(wǎng)站編輯權(quán)限的人，只需點(diǎn)擊幾下就可以自定義 Copilot 功能，還可以通過(guò) Teams 聊天框、電子郵件等方式將創(chuàng)建好的 Copilot 分享給團(tuán)隊(duì)中其他成員。

點(diǎn)選好 SharePoint 中允許訪(fǎng)問(wèn)的內(nèi)容范圍，以及 Copilot 的身份和行為等信息，它就可以立刻投入工作了。

比如內(nèi)容回答問(wèn)題、總結(jié)信息或者查找文件，基于你之前授權(quán)給它的內(nèi)容，Copilot 可以提供最新、最準(zhǔn)確的響應(yīng)。

想要在 SharePoint 之外創(chuàng)建自己的 Copilot?

沒(méi)問(wèn)題！微軟還發(fā)布了 Copilot Studio，提供更靈活的自定義功能。

Copilot Studio

在 SharePoint 之外，Copilot Studio 支持超過(guò) 1000 個(gè)數(shù)據(jù)連接器，方便你將各種數(shù)據(jù)源導(dǎo)入 Copilot。

Copilot Studio 依舊采用類(lèi)似 SharePoint 中「對(duì)話(huà)驅(qū)動(dòng)」的界面，你可以像聊天一樣描述 —— 想要 Copilot 有什么樣的知識(shí)和功能，Copilot Studio 就可以立即創(chuàng)建，并支持實(shí)時(shí)的測(cè)試、修改和發(fā)布。

為了用戶(hù)更容易上手使用，Studio 中還內(nèi)置了各種 Copilot 模板，比如用于組織清晰度的 Organizatiion Navigator、用于員工健康管理的 Wellness 等，未來(lái)幾個(gè)月還會(huì)有更多 Copilot 模板發(fā)布。

使用 Copilot Studio，你會(huì)有一種一切盡在掌握的感覺(jué)。

VSCode

如果你是一個(gè)高端玩家，更喜歡用代碼優(yōu)先的方式構(gòu)建插件，也可以使用 Visual Studio Code 和 Teams Toolkit，編寫(xiě)函數(shù)來(lái)精準(zhǔn)定義 Copilot 的工作流。

Copilot 新能力解鎖

Copilot 早就不止步于代碼補(bǔ)全功能，而是已經(jīng)演變「?jìng)€(gè)人助理」，成為打工人們的效率提升神器，而且與多種工具和平臺(tái)合作，構(gòu)建起一套完整的「Copilot 生態(tài)」。

本次 Build 大會(huì)上，微軟又為 Copilot 解鎖了一系列新功能。

Team Copilot

Team Copilot 將功能延伸到「?jìng)€(gè)人助理」之外，開(kāi)始成為團(tuán)隊(duì)的一員。

它能承擔(dān)單獨(dú)的職責(zé)，提升整個(gè)團(tuán)隊(duì)的工作效率，比如組織并記錄會(huì)議、跟蹤討論內(nèi)容等，甚至可以充當(dāng)項(xiàng)目經(jīng)理，為成員分配任務(wù)并及時(shí)跟進(jìn) ddl。

對(duì)于聊天界面中團(tuán)隊(duì)成員們的討論進(jìn)展，Copilot 還能實(shí)時(shí)更新自己的記錄內(nèi)容。

可以在 Microsoft 自家開(kāi)發(fā)的 Teams、Loop 或者 Planner 等協(xié)作辦公軟件中使用 Team Copilot。

這項(xiàng)功能將在今年晚些時(shí)候以預(yù)覽版形式向有 Copilot 許可證的用戶(hù)發(fā)布。

Agents Copilot

如果 Copilot 僅僅進(jìn)化到團(tuán)隊(duì)助手，你可能還是小看了微軟。

就像用戶(hù)可以自定義 Copilot 插件一樣，你也可以使用 Copilot Studio 自定義一個(gè) Copilot Agent。

它不再像原來(lái)一樣被動(dòng)地等著你問(wèn)問(wèn)題或者分配任務(wù)，而是變成「事件觸發(fā)」的智能體，像虛擬員工一樣工作并自動(dòng)執(zhí)行任務(wù)。

這意味著，Copilot Agent 不僅需要記憶、上下文推理以及根據(jù)反饋學(xué)習(xí)的能力，而且需要更加主動(dòng)，能夠在后臺(tái)自發(fā)執(zhí)行任務(wù)。

這樣的 Copilot 豈不是會(huì)讓一大批白領(lǐng)失業(yè)？

微軟業(yè)務(wù)應(yīng)用程序和平臺(tái)公司副總裁 Charles Lamanna 在采訪(fǎng)中表示，它可以消除一些重復(fù)、瑣碎的工作，例如數(shù)據(jù)輸入等，也許都是沒(méi)有人真正想做的事情。

GPT-4o 上新，多款基礎(chǔ)模型可用

除了 Copilot 華麗的演示之外，在開(kāi)篇提到的三個(gè)平臺(tái)中，最核心的是構(gòu)建最完整的端到端堆棧 ——Copilot stack。

其中，最底層是基礎(chǔ)設(shè)施，然后是基礎(chǔ)模型層。

基礎(chǔ)設(shè)施

為了 AI 工作負(fù)載，微軟特意構(gòu)建了全新的數(shù)據(jù)中心。

因此，微軟可以用每一兆瓦的功率，來(lái)降低 AI 的成本和功耗。

截止 2024 年 5 月，Azure 超算能力已經(jīng)實(shí)現(xiàn)了 30 倍的增長(zhǎng)！

可以說(shuō)，他們提供了世界上最先進(jìn)的 AI 加速器，開(kāi)發(fā)者可以擁有最完整的 AI 加速器選擇。

從 GPT-4 到 GPT-4o，不僅模型的速度提高了 6 倍，成本更是便宜了 12 倍。

而這背后，是微軟與英偉達(dá)、AMD 的深度合作，以及自研芯片的大力推進(jìn)。

英偉達(dá)關(guān)鍵平臺(tái)產(chǎn)品，都會(huì)引入微軟的云中。

而說(shuō)到和 AMD 的合作，微軟是第一個(gè)提供最新 ND MI300X v5 虛擬機(jī)的云服務(wù)供應(yīng)商。

無(wú)論對(duì)于 AMD，還是對(duì)于微軟，這都是一個(gè)意義重大的里程碑。

自研 Azure Maia 100，只要你用過(guò)微軟的服務(wù)，或多或少都會(huì)接觸到。

而最新 Azure Cobalt 也開(kāi)始進(jìn)行公開(kāi)預(yù)覽了，目前已經(jīng)為 Microsoft Teams 等服務(wù)提供了數(shù)十億次對(duì)話(huà)的支持。

基礎(chǔ)模型

在基礎(chǔ)模型方面，微軟與 OpenAI 展開(kāi)了深度合作，而現(xiàn)在 GPT-4o 可以在 Azure 上進(jìn)行訓(xùn)練。

一張圖，展示了 GPT-4o 依舊是最強(qiáng)的模型。

而在如此強(qiáng)大的模型的加持下，Copilot 甚至已經(jīng)「進(jìn)化」到指導(dǎo)我們?cè)趺赐嬗螒蛄耍?/span>

舉個(gè)例子，你想弄清如何在《我的世界》中制作一把劍，卻毫無(wú)頭緒。

Copilot 會(huì)從頭教你：為了造一把劍，你需要先收集材料。按 E 鍵，就能打開(kāi)自己的材料庫(kù)了。

Copilot 發(fā)現(xiàn)，我們?nèi)鄙僦谱鲃θ械牟牧希瑸榇?，需要收集木材、石頭、鐵、金或者鉆石。

忽然出現(xiàn)的小人，讓玩家嚇了一跳。

Copilot 提示道：這是一場(chǎng)僵尸賽跑，我們需要盡快擺脫它們。要么快速建一座方塊塔，或者快速找到一個(gè)避難場(chǎng)所，還可以挖到山的另一側(cè)。

此外，微軟首次介紹了十分強(qiáng)大的 Agent 能力。

想露營(yíng)但找不到合適的鞋怎么辦？給它看一眼你的鞋，就能讓它給你提意見(jiàn)了。

Agent 分析道，這款非常適合夏季遠(yuǎn)足、讓雙腳保持涼爽，然而卻不是這次的最佳選擇。

既然如此，我們就讓 Agent 直接挑一款最合適的。

Agent 發(fā)現(xiàn)，這次最合適的產(chǎn)品是 TrekReady Hawking，它為腳踝提供了支撐，還能在寒冷的山區(qū)為腳部提供保暖。然后，它還幫我們把這雙鞋添加到購(gòu)物車(chē)中。

當(dāng)然，除了 OpenAI 的模型之外，微軟 Azure 平臺(tái)還將提供多款可用的模型。

并且，微軟依舊擁抱開(kāi)源社區(qū)，與 Hugging Face 合作。

最強(qiáng)小語(yǔ)言模型：Phi-3

除了引入外部模型之外，微軟一直以來(lái)都在押注小模型，并引領(lǐng)了一場(chǎng) SLM 革命。

從去年 6 月 Phi-1 面世，到 Phi-1.5、Phi-2，再到如今 Phi-3，微軟小模型已經(jīng)完成四次迭代升級(jí)。

今天，Phi-3 家族正式官宣新成員：

Phi-3-vision、Phi-3-small，Phi-3-medium。

其實(shí)，Phi-3-small，Phi-3-medium 對(duì)于每個(gè)人來(lái)說(shuō)，或許并不陌生了。

上個(gè)月，微軟首次亮相 Phi-3-mini，經(jīng)過(guò) 3.3 萬(wàn)億 token 訓(xùn)練僅有 38 億參數(shù)，而且還可以部署在手機(jī)上，性能與 Mixtral 8x7B 和 GPT-3.5 相媲美。

論文地址：https://arxiv.org/pdf/2404.14219

另外，技術(shù)報(bào)告中，還首次展示了經(jīng)過(guò) 4.8T token 訓(xùn)練的 7B 模型 Phi-3-small，以及 14B 模型 Phi-3-medium。

具體來(lái)說(shuō)，Phi-3-small 提供了 8k 和 128k 上下文，實(shí)力與 Llama-3-8B-In、Gemma 7B，以及 Mistral 7B 相當(dāng)。

而提供了 4k 和 128k 上下文的 Phi-3-medium，性能可以超越 Mistral 8x7B。

而現(xiàn)在，這些模型已經(jīng)在 Hugging Face 上發(fā)布，開(kāi)發(fā)者們可以下載權(quán)重并使用。

多模態(tài) Phi-3

真正引人關(guān)注的是，Phi-3 在今天正式推出了多模態(tài)模型 Phi-3-vision，有 42 億參數(shù)，128k 上下文。

它可以完成一般的視覺(jué)推理任務(wù)，比如現(xiàn)場(chǎng)演示中，詢(xún)問(wèn)圖表中的信息。

甚至，人們還可以使用 Phi-3-vision 進(jìn)行 OCR、表格理解、一般圖像理解等。

值得一提的是，這款輕量模型僅用了一天半的時(shí)間，在 512 塊 H100 上完成了訓(xùn)練。

它使用了 500B 視覺(jué)和文本 token，其中「教科書(shū)數(shù)據(jù)集」一直以來(lái)是 Phi 系列模型的訓(xùn)練核心。

這次，Phi-3-vision 的訓(xùn)練的圖像數(shù)據(jù)來(lái)自，精選高質(zhì)量圖文搭配的內(nèi)容，還有新創(chuàng)建的「教科書(shū)」式的綜合數(shù)據(jù)。

其中包括，圖表、表格、示意圖、幻燈片等教授的數(shù)學(xué)、編碼、常識(shí)推理等。

盡管參數(shù)量級(jí)非常小，在多模態(tài)基準(zhǔn)測(cè)試中，Phi-3-vision 的性能超越了 Claude 3 haiku、LlaVa 和 Gemini 1.0 Pro。

甚至，各項(xiàng)性能非常接近 GPT-4V。

一些開(kāi)發(fā)者已經(jīng)上手體驗(yàn)了，并稱(chēng)令人印象極為深刻。

還有一些開(kāi)發(fā)者們也決定嘗試一番。

以上 Phi-3 模型，不僅可以在云端運(yùn)行，甚至可以在本地運(yùn)行。

SOTA 小模型 Phi-Silica

此外，納德拉還在今天發(fā)布了 Phi 系列的 SOTA 模型 ——Phi-Silica。

微軟稱(chēng)，這是一款專(zhuān)為 Copilot+ PC 設(shè)計(jì)的 33 億參數(shù)模型，每秒可以處理 650 token 的，功率消耗約為 1.5 瓦。

這就意味著，Phi-Silica 不會(huì)占用大量算力，并可以釋放 PC 的 CPU 和 GPU 來(lái)處理其他計(jì)算。

另外，它的 token 生成會(huì)重用 NPU 的 KV 緩存，并在 CPU 上運(yùn)行，大約每秒可輸出 27 個(gè) token。

微軟表示，「Phi-Silica 的不同之處在于，它是 Windows 首個(gè)本地部署的語(yǔ)言模型」。

它針對(duì) Copilot+PC NPU 進(jìn)行了優(yōu)化，可在本地設(shè)備上實(shí)現(xiàn)超快的推理響應(yīng)速度。

這是 Windows 將先進(jìn)的 AI 技術(shù)直接帶給第三方開(kāi)發(fā)者的一個(gè)里程碑時(shí)，為他們開(kāi)發(fā)出色的 Windows 原生體驗(yàn)和第三方體驗(yàn)鋪平了道路。

Phi-3 模型最新的應(yīng)用，便是微軟還和可汗學(xué)院聯(lián)合打造教育模型。

在模型的幫助下，學(xué)生們不僅得到了個(gè)性化的 AI 指導(dǎo)，老師們也感受到了自己的價(jià)值。

更重要的是，在 Phi-3 的加持下，能夠免費(fèi)提供給教育工作者的 Khanmigo，必將極大地改變美國(guó)的教育界。

Windows

Copilot+ PC 將重新定義任何一個(gè)人在 PC 所做的一切。

Pavan Davuluri 展示了 Copilot 加持下的玩家，不用谷歌搜索，詢(xún)問(wèn)即可通過(guò)被卡住的關(guān)卡。

通過(guò)將 Copilot 集成到 Xbox 中，可以大幅提升游戲體驗(yàn)。

此外，微軟還與 Quest 聯(lián)手，將 Copilot 帶進(jìn) VR 世界，并為 Quest 帶來(lái)可擴(kuò)展到 3D 空間的 Windows 應(yīng)用程序。