2023年は、年間を通じてAIの急速な進化が話題を独占した年だったといえるだろう。特にOpenAIが開発した大規模言語モデルのGPTの進化は常にその話題の中心にあった。MicrosoftはOpenAIと提携し、これらのAI技術の進化に積極的に貢献してきた。Microsoft Research Blogのエントリ「Research at Microsoft 2023: A year of groundbreaking AI advances and discoveries」では、AI技術の進化に対する2023年の同社の取り組みがまとめられている。
○AI基盤の強化に向けての取り組み
AI技術の開発において最も基本となるAI基盤の強化としては、さまざまなアーキテクチャやAIモデル、そしてそれらのモデルを使ったアプリケーションの進化が挙げられている。Microsoftは2023年に、言語モデリングにおける最新のトランスフォーマーアーキテクチャとして「Retentive Networks（RetNet）」を開発した。これは高い並列性や低いメモリ使用量、そして高速なデコード速度などに優れたアーキテクチャで、従来のTransformerを上回るパフォーマンスを持つ。また、よりスケーラブルで安定した1ビットTransformerアーキテクチャである「BitNet」も発表している。
○AIモデルの進化に向けての取り組み
AIモデルの進化としては、小規模言語モデルPhiファミリの拡張である27億パラメータの「Phi-2」、そして130億パラメータの「Orca」、70億および130億パラメータの「Orca 2」などをリリースしたことが挙げられている。また、同社はテキストだけでなく画像や動画、音声などにも対応したマルチモーダルなAIモデルとして「CoDi」と呼ばれる画期的なAIモデルも開発している。
○AIモデルを活用するフレームワークの開発
これらのAIモデルを活用するフレームワークとして、MicrosoftはLLMワークフローのオーケストレーションをサポートする「AutoGen」をオープンソースで公開した。また、高度なプロンプト戦略に関する研究成果として「Medprompt」や「promptbase」を発表し、専門分野でより効率的にAIを活用する手法を提供している。その他、LLMに対する入力プロンプトを高度に圧縮する「LLMLingua」と呼ばれる手法も注目を集めている。
MicrosoftのAIに対する取り組みは、基盤技術の発展だけでなく、科学的な研究への活用や、人々の実生活への応用にも及んでいる。同社はAIの研究に関連して、企業間や専門分野を超えたコラボレーションの実現に力を入れていると強調している。今後も、より大規模な研究コミュニティへの関与とサポートを続けていく方針だという。
