DigitalBase Docs

モデル管理

LLM サーバ・モデル・GPU を管理画面から一元管理します。

対象:管理者必要権限:管理者ロールエディション:Ollama / vLLM

できること

  • LLM サーバ（Ollama / vLLM）の登録・状態確認
  • 利用可能モデルの管理
  • 複数の推論サーバーを束ねて負荷分散（エンドポイントプール）
  • GPU リソースの確認
  • 利用状況・統計の確認
  • 推論性能のベンチマーク（vLLM）

バックエンド別の運用

区分モデルの供給
Ollama 版ローカルにダウンロードしたモデル
vLLM 版GPU サーバで提供するモデル（既定: チャット Qwen/Qwen3-4B、埋め込み intfloat/multilingual-e5-large-instruct。初回起動時に自動ダウンロード）
OpenAI 互換サーバー既存の GPU サーバーや他の推論基盤（LM Studio / Foundry Local 等）に接続。高度な設定 › OpenAI 互換の推論サーバー を参照
クラウド LLM 併用OpenAI / Anthropic / Gemini / xAI Grok（API キー）

推論サーバー（vLLM）の運用

vLLM 版では、用途別に 3 つの推論サーバー を個別に管理できます。

サーバー役割
chatチャット・生成・ツール呼び出し
embedRAG 用の埋め込み
vision画像・図面・帳票の読み取り（VLM）

管理画面から、サーバーごとに次の操作を行えます。

  • 起動 / 停止 / 再起動 — サーバー単位で個別に制御します。
  • 状態・ログの確認 — 稼働状態と起動ログを画面で確認します。
  • GPU・稼働監視 — GPU 使用率やスループットをメトリクスで確認します。
  • モデルの導入・切替 — Qwen・NVIDIA Nemotron 等を HuggingFace のモデル ID で導入します。

複数の推論サーバーをまとめて使う（エンドポイントプール）

GPU ごと、あるいは別マシンに立てた複数の vLLM サーバーを 1 つのプールとして束ね、負荷分散できます。設定方法と管理画面での見え方は 高度な設定 › エンドポイントプール を参照してください。

GPU 監視（DCGM）

モデル管理画面では、各 vLLM 接続先の GPU 使用率・温度・電力・VRAM を確認できます。接続先ホストで動作する DCGM exporter（既定ポート 9400、.env の DCGM_PORT で変更可）から自動取得され、exporter が無い接続先は「—」と表示されます。

exporter の導入手順

前提として、接続先の GPU ホストに NVIDIA DCGM 本体（dcgmi コマンド）が必要です。未導入の場合は NVIDIA CUDA リポジトリから バージョン 4 系 を導入します（Ubuntu 標準 apt の datacenter-gpu-manager は 3 系のため不可）。

# CUDA リポジトリ未登録の場合は先に cuda-keyring を導入（NVIDIA ドライバ導入済みなら登録済みのことが多い）
sudo apt-get install -y datacenter-gpu-manager-4-core datacenter-gpu-manager-4-cuda13   # CUDA 12 環境は -4-cuda12

続いて、GPU ホストで次を実行します。

curl -fsSL https://pub-a2cab4360f1748cab5ae1c0f12cddc0a.r2.dev/vite-scripts/install-dcgm-exporter.sh | bash

DCGM サービスの有効化、exporter の配置（:9400）、systemd への常駐登録、動作確認までを一括で行います。導入後、モデル管理画面の [更新] で温度・電力が表示されます。

補足

arm64 機（GB10 / DGX 系）では本家 dcgm-exporter の apt / バイナリ配布が無いため、このスクリプトは依存の無い最小 exporter を配置します。x86_64 で本家 dcgm-exporter（コンテナ運用）を既にお使いの場合はそのままで動作します。ユニファイドメモリ機では VRAM（FB 系）は取得できず「—」表示になります。

ベンチマーク（性能計測）

vLLM サーバーに対して、スループット・レイテンシなどの推論性能を計測できます。GPU 構成やモデル選定の判断に使います。

モデルの追加（Ollama）

サーバ側でモデルを取得すると、チャットの一覧に表示されます。

ollama pull gemma3:4b
ollama pull nomic-embed-text   # RAG 用 埋め込み
補足

チャットに表示されるモデル一覧は、サーバ側の対応に従います。ツール呼び出しの可否もサーバ側の対応次第です。vLLM 版では .env の VLLM_TOOL_CALL_PARSER / VLLM_REASONING_PARSER で指定します（既定値は同梱の Qwen3 モデル用なので、モデルを変えたら合わせて変更してください）。Hugging Face モデルカードの vllm serve コマンドを貼り付けて .env 設定に変換する「vLLM設定」ボタンも利用できます。環境変数による自動起動と、管理画面からの管理を併用できます。

関連