設定のポイント
モデルの選び方(インフラ別)・生成パラメータの調整・プロンプトの書き方を 1 ページにまとめます。うまく使うための実践的な勘所です。
対象:一般ユーザー / 管理者
モデルの選び方(インフラ別)
利用環境(ハードウェア)に応じて、無理のないモデルサイズと推論エンジンを選びます。目安は次のとおりです。
| 構成 | 推論エンジン | モデルサイズの目安 | 想定人数 |
|---|---|---|---|
| デスクトップ / ミニPC(RAM 32–64GB) | Ollama / クラウド | 3B–8B | 数名・部門の小チーム |
| DGX Spark(GB10・128GB・273GB/s) | Ollama / vLLM / クラウド | 30B–70B(MoE 推奨) | 5–20 名 |
| ワークステーション(RTX PRO 6000 ×2–4・VRAM 192–384GB) | vLLM / クラウド | 70B–200B | 20–50 名 |
| ラックサーバ(RTX PRO 6000 ×8+・VRAM 768GB+) | vLLM / 複数並列 | 200B–400B | 50–100 名以上 |
補足
小さい構成では小さめのモデル+クラウド LLM 併用が現実的です。思考(reasoning)や Vision を多用するほど計算資源を要します。RAG 用の埋め込みモデル・Vision モデルは対話モデルとは別枠で動く点にも注意してください(モデル管理)。
クラウド LLM(OpenAI / Anthropic / Gemini)は全構成で併用できます。API キーを設定すると選択肢に追加されます。
生成パラメータの調整
チャット上部の Parameters から調整します(詳細はAIエージェント)。
| パラメータ | 目安 | コツ |
|---|---|---|
| Temperature | 既定 0.7 | 事実回答・抽出は 0〜0.3 に下げる。発想・文章生成は高めに。 |
| Top P | 既定 0.9 | 通常は既定のまま。Temperature と同時に大きく動かさない。 |
| Max Tokens(出力) | 用途次第 | 長文生成で足りなければ上げる。要約は低めで十分。 |
| History Limit | 既定 10 | 文脈が混ざるなら下げる。長い連続作業では上げる。 |
| Thinking | Normal | 難しい推論は Thinking を有効化。簡単な作業は Off で速く。 |
注意
コンテキスト長(入力に使える最大量)はサーバ側(LLM_CONTEXT_LENGTH)で決まります。長い資料を扱うときは管理者に確認してください(環境変数)。
プロンプトの書き方
良い結果は「具体的な指示」から得られます。次の 4 要素に分けて書くと安定します。
| 要素 | 書くこと | 例 |
|---|---|---|
| 役割 | AI の立場・専門性 | 「経験豊富な品質管理担当として」 |
| 指示内容 | やってほしいこと | 「点検記録から不具合を要約して」 |
| 出力形式 | 成果物の形 | 「箇条書き 5 点以内/報告書テンプレート」 |
| 制約 | 守る条件 | 「社外秘の数値は出さない」 |
コツ:
- 具体的に書く(曖昧な指示は曖昧な結果になります)。
- 例を 1〜2 個示す(期待する出力の見本を与える)。
- 複雑な作業は手順に分けて依頼する。
- 根拠が必要ならRAG管理を併用し、出典付きで答えさせる。
プロンプトを保存・共有する(プロンプトライブラリ)
よく使う指示は プロンプトライブラリ に保存し、毎回書き直さずに呼び出せます。報告書・議事録・メール文面などの定型作業に便利です。
- プロンプトライブラリで「新規作成」を選びます。
- タイトルと、上の 4 要素(役割・指示内容・出力形式・制約)を入力して保存します。
- チャットで保存したプロンプトを選び、対象データを添えて送信します。
共有タグ を設定すると、同じタグを持つメンバーにプロンプトを共有できます(部門の標準プロンプトの統一に便利。タグの管理はユーザー・権限管理)。