新しい人工知能兵器に対するメタの賭けを解明する: 2 つの自社開発チップ + スーパーコンピューティング

オリジナル: テンセントテクノロジー

ここ数年、Facebook の親会社 Meta はメタバースに多額の投資を行っており、関連するハードウェアとソフトウェアの開発に継続的に取り組んできましたが、おそらくこの目的のために人工知能の分野における最新のトレンドさえ無視していました。しかし、生成人工知能が爆発的に普及するにつれて、メタは会社の方向性を変え、人工知能の分野に取り組み始めたようです。米国現地時間の木曜日、メタは人工知能用に自社開発した2つのチップをリリースし、人工知能スーパーコンピューティングにおける最新の進歩を明らかにした。

木曜日の仮想イベントで、Meta は、同社が新しく発売した広告デザインおよび作成ツールに統合した新技術である生成 AI の実行サポートなど、人工知能ワークロード用に開発した社内インフラストラクチャをデモンストレーションしました。これはメタが自分の強さを示すための試みです。同社はこれまで、AI対応のハードウェアシステムの導入が遅れ、GoogleやMicrosoftなどのライバルと歩調を合わせる能力を損なっていた。

Metaのインフラストラクチャ担当バイスプレジデント、Alexis Bjorling氏は、「独自のハードウェア機能を構築することで、データセンターの設計からトレーニングフレームワークに至るまで、スタックのあらゆる層を制御できるようになる。AI研究を前進させるには、このレベルの垂直統合が必要だ」と述べた。

過去 10 年ほどにわたり、Meta はトップのデータ サイエンティストの採用と、現在アプリやサービスの検出エンジン、モデレーション フィルター、広告レコメンデーションを強化している人工知能を含む、新しいタイプの人工知能の構築に数十億ドルを費やしてきました。しかし、同社は、特に生成型 AI に関して、野心的な AI 研究イノベーションの多くを製品化するのに苦労してきました。

2022 年まで、Meta は AI アルゴリズムを高速化するように設計された CPU とカスタム チップを使用して AI ワークロードを実行します。しかしメタ社は、いくつかのデータセンターの大規模な再設計が必要となるため、2022年に大規模展開する予定だったカスタムチップをキャンセルし、代わりに数十億ドル規模のNvidia GPUを発注した。

AI アクセラレータ チップ

状況を好転させるために、メタ社は2025年に発売予定の、より野心的な自社チップの開発に着手する計画だ。このチップは、人工知能モデルのトレーニングに使用でき、またその実行もサポートします。

Meta はこの新しいチップを Meta Training and Inference Accelerator (略して MTIA) と呼び、AI トレーニングと推論ワークロードを高速化するための「チップ ファミリー」として分類しています。 「推論」とは、トレーニングされたモデルを実行することを指します。 MTIA は特定用途向け集積回路 (ASIC) であり、単一の回路基板上にさまざまな回路を組み合わせたチップであり、1 つ以上のタスクを並行して実行するようにプログラムできます。

図 1: AI ワークロード向けにカスタマイズされた AI チップ

Bjorling 氏はさらに、「重要なワークロードの効率とパフォーマンスを向上させるために、モデル、ソフトウェア スタック、システム ハードウェアと共同設計されたカスタム ソリューションが必要でした。より良いエクスペリエンスを提供します。」と続けました。

カスタム人工知能チップは大手テクノロジー企業の定番になりつつあります。 Google は、PaLM-2 や Imagen などの大規模な生成人工知能システムをトレーニングするためのプロセッサ TPU (Tensor Processing Unit) を開発しました。 Amazon は、AWS の顧客にトレーニング (Trainium) と推論 (Inferentia) 用の独自のチップを提供しています。 MicrosoftはAMDと協力して「Athena」と呼ばれる自社製人工知能チップの開発に取り組んでいると報じられている。

メタ氏によると、同社は2020年に第1世代のMTIA（MTIA v1）を開発し、7nmプロセスを使用して生産したという。メモリは 128 MB から 128 GB まで拡張でき、Meta が設計したベンチマークでは、MTIA は GPU よりも「低複雑度」および「中複雑度」の AI モデルを効率的に処理できるとメタは主張しています。

メタ氏は、オンチップメモリとネットワーキングの分野ではやるべきことがまだ多く、AIモデルのサイズが増大し、複数のチップにワークロードを分散する必要があるため、どちらも依然としてボトルネックとなっていると述べた。偶然にも、Meta は最近、英国のチップ ユニコーンである Graphcore のオスロに拠点を置く人工知能ネットワーク技術チームを買収しました。現状では、MTIA はメタ アプリケーション ファミリの「推奨ワークロード」に関するトレーニングではなく、厳密な推論に重点を置いています。

しかしMeta氏は、MTIAの改善により、レコメンデーションワークロードを実行する際の同社の効率が「大幅に」向上し、「より強化された」「最先端の」AIワークロードを実行できるようになったと強調した。

AI スーパーコンピューター

おそらく将来的に、Meta は AI ワークロードのほとんどを MTIA に引き渡すことになるでしょう。しかし今のところ、ソーシャル ネットワーキングの巨人は、研究に特化したスーパーコンピューターである Research SuperCluster に依存しています。

Research SuperCluster は、Penguin Computing、Nvidia、Pure Storage によって組み立てられ、2022 年 1 月にデビューする予定で、建設の第 2 段階が完了しました。メタ氏によると、Research SuperCluster には現在、16,000 個の Nvidia A100 GPU を搭載した合計 2,000 台の Nvidia DGX A100 システムが含まれています。

では、なぜ Meta は社内でスーパーコンピューターを構築しているのでしょうか?まず、他のテクノロジー大手からの圧力がある。数年前、MicrosoftはOpenAIと協力して開発した人工知能スーパーコンピュータを宣伝し、最近ではNvidiaと協力してAzureクラウド上に新しい人工知能スーパーコンピュータを構築すると発表した。一方、Googleは、Metaのスーパーコンピューターをはるかに上回る26,000個のNvidia H100 GPUを搭載した自社の人工知能スーパーコンピューターも宣伝している。

図 2: Meta の人工知能研究用スーパーコンピューター

しかし、Meta によれば、Research SuperCluster を使用すると、他のピアとの連携に加えて、研究者が Meta のシステムから実世界の例を使用してモデルをトレーニングできるようになります。これは、オープンソースで公開されているデータセットのみを活用できた同社の以前の AI インフラストラクチャとは異なります。

Meta の広報担当者は、「Research SuperCluster AI スーパーコンピューターは、生成 AI を含むいくつかの分野で AI 研究の開発を進めるために使用されています。これは実際、AI 研究の生産性と密接に関係しています。彼らがモデルを開発できるようにし、AI 開発を進めるためのトレーニング プラットフォームを提供します。」

Research SuperCluster はピーク時に 5 エクサフロップスの計算能力を達成でき、これは世界最速のコンピューターの 1 つであるとメタは主張しています。 Meta は、大規模な言語モデルである LLaMA をトレーニングするために Research SuperCluster を使用していると述べています。今年の初めに、Meta は大規模な言語モデルの「クローズド リリース」で研究者にアクセスを開放しました。最大の LLaMA モデルは 2048 個の A100 GPU でトレーニングされ、21 日かかったとメタ氏は述べています。

「Research SuperCluster は、Meta の AI 研究者が、何兆もの事例から学習し、何百もの異なる言語でシームレスに動作できる、より優れた新しい AI モデルを構築するのに役立ちます。」と Meta の広報担当者は述べています。ツールなど。」

ビデオ トランスコーダ

MTIA に加えて、Meta は特定の種類のコンピューティング ワークロードを処理する別のチップを開発中です。 Meta Scalable Video Processor (略して MSVP) と呼ばれるこのチップは、Meta が社内で開発した初の特定用途向け集積回路 (ASIC) ソリューションであり、ビデオ オン デマンドとストリーミングの処理要求を処理するように特別に設計されています。

覚えている人もいるかもしれませんが、Meta は何年も前にカスタムのサーバー側ビデオ チップの構想を開始し、2019 年にビデオのトランスコーディングと推論用の ASIC を発表しました。 MSVP はこれらの取り組みの成果の 1 つであり、ストリーミング分野での新たな競争の結果です。

「Facebook だけで、人々はビデオの視聴に時間の 50% を費やしています。世界中のさまざまなデバイス (モバイル デバイス、ラップトップ、テレビなど) にサービスを提供する必要があります。たとえば、Facebook や Instagram にアップロードされたビデオは、複数のビデオにトランスコードされます。」さまざまなエンコード形式、解像度、品質のビットストリームに対応できるため、MSVP はプログラム可能かつスケーラブルであり、VOD に必要な高品質のトランスコーディングだけでなく、ライブ ブロードキャストに必要な低遅延と高速処理時間を効率的にサポートするように構成できます。」

図 3: Meta のカスタム シリコンは、ストリーミングやトランスコーディングなどのビデオ ワークロードを高速化するように設計されています

Meta氏によると、同社の計画は、最終的には「安定して成熟した」ビデオ処理ワークロードのほとんどをMSVPにオフロードし、特定のカスタマイズと「劇的な」品質向上を必要とするワークロードにのみソフトウェアビデオエンコーディングを使用するというものだ。メタ氏はまた、MSVP の取り組みにより、インテリジェントなノイズ除去や画像強調などの前処理方法、およびアーティファクト除去や超解像度などの後処理方法を通じてビデオ品質が向上し続けていると述べた。

「将来的には、MSVP により、短いビデオを含むメタの最も重要なユースケースと要件をさらにサポートできるようになり、生成人工知能、AR/VR、その他の仮想現実コンテンツの効率的な配信が可能になります」とレディ氏とチェン・ユンチン氏は述べています。

AI フォーカス

最新のハードウェア発表に共通点があるとすれば、それは、Meta が AI 開発のペース、特に生成 AI に関して必死に加速させようとしているということです。

今年 2 月、Meta の CEO である Mark Zuckerberg は、Meta の AI コンピューティング能力の向上を最優先事項とし、新しいトップレベルの生成 AI チームの結成を発表したと言われています。彼の言葉を借りれば、このチームは会社に以下の開発を提供することになります。 「ターボ充電」。 Meta CTOのアンドリュー・ボズワース氏も最近、彼とザッカーバーグ氏が最も多くの時間を費やしている分野は生成AIであると語った。 Meta の主任科学者である Yang Likun 氏によると、同社は仮想現実内にオブジェクトを作成するための生成人工知能ツールを導入する予定だという。

4月、ザッカーバーグ氏はメタ社の第1四半期決算会見で次のように語った。「われわれはWhatsAppとメッセンジャーでのチャット体験、FacebookとInstagramでの投稿と広告のビジュアル作成ツール、長期にわたるビデオ、そしてマルチモーダル体験を模索している。私はこれらが実現することを願っている」一般の人からクリエイター、企業に至るまで、ツールはあらゆる人にとって価値のあるものとなり、例えば、ビジネス情報に興味を持つ人、配送やカスタマーサポートにおけるAIエージェントに興味を持つ人など、この経験を積めば、多くの人が増えると予想しています。これは仮想世界での私たちの仕事にも拡張され、人々がアバター、オブジェクト、世界を作成し、それらすべてをコードで結び付けることがより簡単になります。」

メタ社はある意味、生成人工知能の巨大な潜在市場の一部を獲得するほどのスピードで同社が動いていないのではないかと懸念する投資家からのプレッシャーの高まりを感じている。現在、同社には、Bard、Bing、ChatGPT などのチャットボットと競合できる製品はありません。また、爆発的な成長を遂げているもう一つの重要な分野である画像生成においても、大きな進歩は見られません。

これらの予測が正しければ、生成 AI ソフトウェアの対応可能な市場規模は合計 1,500 億ドルに達する可能性があります。米投資銀行ゴールドマン・サックスは、これによりGDPが7％増加すると予測している。

たとえ一部の予測が当たったとしても、拡張現実ヘッドセット、会議ソフトウェア、Horizon Worlds などのメタバース テクノロジーへのメタバース投資で失われた数十億ドルを補うことができるでしょう。 Meta の拡張現実部門である Reality Labs は、前四半期に 40 億ドルの純損失を計上しており、営業損失は 2023 年を通じて増加し続けると予想しています。