モデル管理

LLM サーバ・モデル・GPU を管理画面から一元管理します。

できること

• LLM サーバ（vLLM / Ollama）の登録・状態確認
• 利用可能モデルの管理
• 複数の推論サーバーを束ねて負荷分散（エンドポイントプール）
• GPU リソースの確認
• 利用状況・統計の確認
• 推論性能のベンチマーク（vLLM）

バックエンド別の運用

推論サーバー（vLLM）の運用

vLLM 版では、用途別に 3 つの推論サーバー を個別に管理できます。

管理画面から、サーバーごとに次の操作を行えます。

• 起動 / 停止 / 再起動 — サーバー単位で個別に制御します。
• 状態・ログの確認 — 稼働状態と起動ログを画面で確認します。
• GPU・稼働監視 — GPU 使用率やスループットをメトリクスで確認します。
• モデルの導入・切替 — Qwen・NVIDIA Nemotron 等を HuggingFace のモデル ID で導入します。

自動再起動と状態表示

本機で起動した推論サーバーは、本体が 30 秒ごとに死活を確認します（ENGINE_WATCHDOG_INTERVAL_SEC）。プロセスが落ちた場合や、ヘルスチェックに 3 回連続で失敗した場合（ENGINE_HEALTH_FAIL_THRESHOLD）は自動で再起動します。再起動の間隔は失敗のたびに 2 倍に伸び、最大 10 分です（ENGINE_RESTART_BACKOFF_MAX_SEC）。管理画面から「停止」したサーバーは再起動の対象外です。

モデル管理の各サーバー行には、起動ログから推定した段階（phase）と、失敗した場合の理由（reason）が表示されます。

起動前の警告（warnings）も同じ場所に出ます。モデルキャッシュのディスク空き容量が 20 GB を下回ると「low disk space」（ENGINE_MIN_FREE_GB）、モデルの重みが GPU の空きメモリを超えそうなときは「model weights exceed free VRAM」と表示されます。

• 複数 GPU — VLLM_TENSOR_PARALLEL が 0（既定）のときは GPU 枚数から tensor parallel 数を自動で決めます（GPU 枚数以下の最大の 2 の冪、上限 ENGINE_TENSOR_PARALLEL_MAX）。明示した値が優先されます（高度な設定）。
• ログ — 推論サーバーの起動ログはインストール先の logs/（例 ~/.local/db/logs/、ENGINE_LOG_DIR）に保存され、50 MB ごとに 3 世代までローテーションします。画面の「ログ」から末尾を確認できます。
• 死活監視 — 監視ツールからは GET /api/ready（DB・migration・推論サーバーがすべて揃ったときだけ 200）を使います（監視と利用計測）。

閉域環境へのモデル持ち込み

インターネットに出られない環境では、別の PC で取得したモデルを管理画面の 「モデルを取り込む (閉域)」 から取り込みます。サーバー上のパス（USB メモリ等）を指定すると、HuggingFace のキャッシュ（HF_HOME）に配置され、以後はオフラインで起動できます。

受け付ける形式は次の 2 つです（ディレクトリでも tar でも可）。

# 1. モデルのファイル一式（repo_id の指定が必要。例: Qwen/Qwen3-8B）
Qwen3-8B/
├── config.json
├── model-00001-of-00004.safetensors ... model.safetensors.index.json
├── tokenizer.json / tokenizer_config.json
└── generation_config.json

# 2. HuggingFace キャッシュと同じ配置（repo_id / revision は配置から自動判定、複数モデル可）
models--Qwen--Qwen3-8B/snapshots/<rev>/{config.json, *.safetensors, tokenizer*}

取り込み時に config.json が読めること・重みファイルがあること・model.safetensors.index.json に列挙された分割ファイルがすべて揃っていることを検査し、不足があれば取り込みません。同じ版が既にある場合は上書きを選ばない限り取り込みません。取り込み後、.env の VLLM_CHAT_MODEL 等にモデル ID を設定して起動します。オフライン運用では HF_HUB_OFFLINE=1 も設定してください（インストール › オフラインでのインストール）。

複数の推論サーバーをまとめて使う（エンドポイントプール）

GPU ごと、あるいは別マシンに立てた複数の vLLM サーバーを 1 つのプールとして束ね、負荷分散できます。設定方法と管理画面での見え方は 高度な設定 › エンドポイントプール を参照してください。

GPU 監視（DCGM）

モデル管理画面では、各 vLLM 接続先の GPU 使用率・温度・電力・VRAM を確認できます。接続先ホストで動作する DCGM exporter（既定ポート 9400、.env の DCGM_PORT で変更可）から自動取得され、exporter が無い接続先は「—」と表示されます。

exporter の導入手順

前提として、接続先の GPU ホストに NVIDIA DCGM 本体（dcgmi コマンド）が必要です。未導入の場合は NVIDIA CUDA リポジトリから バージョン 4 系 を導入します（Ubuntu 標準 apt の datacenter-gpu-manager は 3 系のため不可）。

# CUDA リポジトリ未登録の場合は先に cuda-keyring を導入（NVIDIA ドライバ導入済みなら登録済みのことが多い）
sudo apt-get install -y datacenter-gpu-manager-4-core datacenter-gpu-manager-4-cuda13   # CUDA 12 環境は -4-cuda12

続いて、GPU ホストで次を実行します。

curl -fsSL https://pub-a2cab4360f1748cab5ae1c0f12cddc0a.r2.dev/vite-scripts/install-dcgm-exporter.sh | bash

DCGM サービスの有効化、exporter の配置（:9400）、systemd への常駐登録、動作確認までを一括で行います。導入後、モデル管理画面の [更新] で温度・電力が表示されます。

ベンチマーク（性能計測）

vLLM サーバーに対して、スループット・レイテンシなどの推論性能を計測できます。GPU 構成やモデル選定の判断に使います。

モデルの追加（Ollama）

サーバ側でモデルを取得すると、チャットの一覧に表示されます。

ollama pull gemma3:4b
ollama pull nomic-embed-text   # RAG 用 埋め込み

関連

• AIエージェント — モデル選択・パラメータ
• 初期設定