70 億 / 130 億參數(shù)，微軟研究院發(fā)布 Orca 2 LLM：性能媲美 10 倍參數(shù)模型

IT之家 11 月 22 日消息，微軟研究院（Microsoft Research）近日發(fā)布新聞稿，推出了相比較主流語言模型更小的 Orca 2 LLM，不過依然可以回答一些復(fù)雜問題。

微軟 Orca 2 共有 70 億和 130 億兩種尺寸，部分融合了 Llama 2 LLM 參數(shù)，通過融合定制的高質(zhì)量合成數(shù)據(jù)，提供更準(zhǔn)確、更優(yōu)秀的合成數(shù)據(jù)。

微軟表示 Orca 2 使用擴展的、高度定制的合成數(shù)據(jù)集進(jìn)行訓(xùn)練。Orca 2 支持分步處理、回憶然后生成、回憶-原因-生成、提取-生成和直接回答等各種推理技術(shù)，同時還能為不同的任務(wù)選擇不同的解決方案策略。

Orca 2 模型相比較 Llama 2 和 WizardLM 等大型語言模型，在痛苦理解、常識推理、多步推理、數(shù)學(xué)問題解決、閱讀理解等方面更為優(yōu)秀。

微軟表示：“我們的初步結(jié)果表明，Orca 2 的性能明顯優(yōu)于類似尺寸的模型。它還達(dá)到了與至少大 10 倍的模型相似或更好的性能水平，展示了為較小模型配備更好推理能力的潛力。”

IT之家附上微軟 Orca 2 模型的介紹鏈接，感興趣的用戶可以深入閱讀。