Googleは2026年10月20日、PyTorch Conferenceで、分散LLM推論向けのオープンソース基盤「llm-d 1.0」を公開しました。大規模言語モデル(LLM)を自社で提供するチームに向け、複数の計算資源に処理を振り分ける仕組みを用意します。Googleによると、AI処理用のTPUとGPUが混在する構成も、単一の接続先で扱えます。
自社のAI推論を支える部品を選んで導入
llm-dは、コンテナの運用を管理するKubernetesに合わせて設計された基盤です。AIモデルから回答などを生成する「推論」を、複数の計算資源に分散させます。必要な構成要素だけを採用でき、基盤全体を一括で導入することが前提ではありません。
Google、Red Hat、IBMなどが共同で立ち上げたプロジェクトで、クラウド関連の技術を支えるCNCFのSandboxに属します。開発には25組織の500人超が参加しました。Googleによると、1.0はv1 APIを備え、複数のクラウドとAI処理用の計算資源で検証済みです。
処理の振り分けでは、要求の優先度と公平性を考慮します。保存済みの文脈、現在の負荷、予測される遅延を基に処理先を選ぶ仕組みです。会話などのまとまりであるセッションも考慮し、AIエージェントが文脈を再利用できるよう支援します。
また、入力を読み込むプリフィル、回答を生成するデコード、画像などの入力をモデル向けに変換する処理を、別々の処理プールに分けます。Googleによると、「DisaggregatedSet」が各プールの更新を一体管理し、要求を振り分けるルーターは高可用性と無停止更新に対応します。
非同期処理と性能比較、GKE向けの導入資料も
1.0では、要求を受けた時点で直ちに結果を返す必要のない処理向けに「llm-d-async-processor」を導入しました。Googleによると、Pub/SubやRedisの待ち行列から要求を取得します。優先度や割り当て量を制御し、余剰容量でバックグラウンド処理を実行できます。
性能分析用のオープンソースダッシュボード「Prism」も提供します。Googleによると、単位時間当たりの処理量を示すスループット、遅延、コストを比較できます。導入を検討する際は、機能の有無だけでなく、自社の処理でこれらをどう評価するかが確認点になります。
Google Kubernetes Engine(GKE)向けには、検証済みのHelmチャートと導入ドキュメントを用意しました。Helmチャートは、Kubernetes上に必要な構成を配置するための定義です。Googleによると、「GKE Inference Gateway」ではllm-dルーターをマネージド提供し、複数のクラスタやリージョンへの拡張にも対応します。
日本での提供は発表には書かれていません。日本語対応、日本向けの価格、対象となる日本のリージョンも記載されていないため、国内環境への導入条件は別途確認が必要です。
影響する会社・しない会社
- 影響する: Kubernetes上でLLMを自社提供している、または提供を検討している会社です。必要な部品を選ぶ設計のため、要求の振り分けや非同期処理など、どの部分を採用するかが検討対象になります。
- 影響する: TPUとGPUの混在構成や、GKEを使った推論基盤を検討する会社です。前者は単一の接続先での利用、後者は検証済みの導入資料とマネージド提供の内容が確認点です。
- 影響しない: 外部のAIサービスを利用するだけで、自社ではモデルの提供基盤を運用しない会社は、今回の導入検討の主対象ではありません。既存サービスの利用者に設定変更を求める内容は、発表には書かれていません。
