設定のポイント
モデルの選び方(インフラ別)、生成パラメータの調整、プロンプトの書き方の目安をまとめる。
対象:一般ユーザー / 管理者
モデルの選び方(インフラ別)
ハードウェアごとのモデルサイズと推論エンジンの目安。
| 構成 | 推論エンジン | モデルサイズの目安 | 想定人数 |
|---|---|---|---|
| デスクトップ / ミニPC(RAM 32–64GB) | Ollama / クラウド | 3B–8B | 数名・部門の小チーム |
| DGX Spark(GB10・128GB・273GB/s) | Ollama / vLLM / クラウド | 30B–70B(MoE 推奨) | 5–20 名 |
| ワークステーション(RTX PRO 6000 ×2–4・VRAM 192–384GB) | vLLM / クラウド | 70B–200B | 20–50 名 |
| ラックサーバ(RTX PRO 6000 ×8+・VRAM 768GB+) | vLLM / 複数並列 | 200B–400B | 50–100 名以上 |
補足
小さい構成では、小さめのモデルとクラウド LLM の併用が現実的。埋め込み・Vision モデルは対話モデルとは別枠(モデル管理)。
クラウド LLM(OpenAI / Anthropic / Gemini / Grok)は、API キーを設定すればどの構成とも併用できる。
生成パラメータの調整
チャット画面上部の Chat設定 で調整する(AIエージェント)。「目安」は、項目を「カスタム」に切り替えた時の開始値。
| パラメータ | 目安 | コツ |
|---|---|---|
| Temperature | 開始値 0.7 | 事実の回答・抽出では 0〜0.3 に下げる。発想・文章づくりでは高めにする。 |
| Top P | 開始値 0.9 | 通常はモデル既定のままにする。Temperature と同時に大きく動かさない。 |
| Max Tokens (出力) | 開始値 8192 | 長文が途中で切れる時は上げる。要約なら低めで足りる。 |
| History Limit | 既定 自動 | 話が混ざる時は カスタム で件数を決めて下げる。自動は文脈窓に入り切らなくなるまで全部を渡す。 |
| Thinking Mode | 既定 Auto | 難しい推論では High や Max にする。簡単な作業は Off で速くなる。 |
注意
コンテキスト長(入力に使える最大量)はサーバー側で決まる。長い資料を扱う時は管理者に確認する(環境変数)。
プロンプトの書き方
次の 4 つの要素に分けて書くと、出力が安定する。
| 要素 | 書くこと | 例 |
|---|---|---|
| 役割 | AI の立場・専門性 | 「経験豊富な品質管理担当として」 |
| 指示内容 | やってほしいこと | 「点検記録から不具合を要約して」 |
| 出力形式 | 成果物の形 | 「箇条書き 5 点以内/報告書テンプレート」 |
| 制約 | 守る条件 | 「社外秘の数値は出さない」 |
コツ:
- 具体的に書く。曖昧な指示からは曖昧な結果が返る。
- 期待する出力の例を 1〜2 個示す。
- 複雑な作業は手順に分けて依頼する。
- 根拠が必要な時はRAG設定を併用し、出典付きで回答させる。
プロンプトを保存・共有する(プロンプトライブラリ)
よく使う指示を プロンプトライブラリ に保存して、繰り返し使える。
- チャット画面上部の Prompts を選ぶ。 → プロンプトライブラリが開く。
- 新規 を選ぶ。
- タイトル と 本文 を入れる。本文には、上の 4 つの要素をまとめて書く。
- 作成 を選ぶ。
- 使う時は、ライブラリで保存したプロンプトを選ぶ。 → ボタンにプロンプトのタイトルが表示され、その会話の指示として使われる。続けて質問や対象のデータを送る。
共有の設定で タグで共有 を選ぶと、同じタグのメンバーも使える(ユーザー・権限管理)。