DigitalBase Docs

RAG設定

社内の文書を取り込み、その内容を根拠に AI が回答する仕組み(RAG)。サイドバーの「RAG設定」でナレッジを作り、利用する。

基本の流れ

  1. ナレッジを作る — 名前と用途を設定する。
  2. ファイルを取り込む — PDF / Office / テキスト / HTML(ブラウザで保存した Web ページ)などをアップロードするか、フォルダ・外部ストレージ・SQL から取り込む。チャットの会話や SQL の結果も取り込める。読み取り方式は Vision設定 で選ぶ(画像・添付ファイルの扱い方)。
  3. チャットで使う — ナレッジを選んで質問する。回答に参照元が表示される。

取り込みの実行と進捗

  • フォルダのファイルを選んだ取り込みと、フォルダの「RAGに取込む」はサーバー側で実行される。画面を閉じても続く。
  • 進み具合は RAG 一覧の上の 「取込進捗」 で確かめる。✕ で中止できる。
  • フォルダも選べる(サブフォルダを含む)。
  • 1 回の取り込みで扱えるのは最大 500 ファイル。管理者が変更できる。
  • チャンクの大きさなどを指定しない時は、ユーザー設定の RAG パラメータを使う(既定はチャンク 500 字 / 重なり 100 字)。
  • 「中断」「一部失敗」と表示された時は、該当するファイルだけを取り込み直す。

Web ページの URL から取り込む

「読み込み」の 「URL」 タブに、Web ページや PDF などの URL を 1 行に 1 つ貼って取り込める(最大 50 件)。

  • サーバーがページを取得して読み込む。
  • HTML はメニュー・ヘッダーなどを除いた本文を、見出し・表の形を残して取り込む。
  • 社内ポータルなど社内のアドレスも取り込める。
  • 画像の URL は、ファイルの取り込みと同じく画像の中の文字を読む(Vision設定に従う)。
  • Web ページの中の画像は読まず、画像の説明(alt)だけを残す。
  • ソース名はページのタイトル。リンク先をクリックすると元のページを開く。
  • 同じ URL をもう一度取り込むと置き換わる。中身が変わっていなければ何もしない。
  • 自動では取り込み直さない。
  • ログインが必要なページは取り込めない。

会話・SQL の結果から取り込む

  • 会話
    • チャット履歴で会話を開き、右上の「RAGに取込む」を押す。
    • 一覧で複数の会話を選んで、まとめて取り込むこともできる。
    • 1 つの会話が 1 つのソースになり、内容はそのまま入る。
    • 対象は自分の会話だけ。
  • SQL の結果
    • ダッシュボード(SQL 画面)で、結果の表の上の「RAGに取込む」を押す。
    • 開いているテーブル・データセットの中身か、実行したクエリの結果を 1 つのソースにする。
    • 行数には上限があり、超えた時はその旨がソースに書かれる。
  • どちらも、もう一度取り込むと同じソース(同じ会話・テーブル・保存クエリ・SQL)が置き換わる。中身が変わっていなければ何もしない。自動では取り込み直さない。
  • 最新の数字を聞きたい時は、ナレッジではなく AIエージェントでデータセット・SQL を使う(RAG と SQL の使い分け)。
  • 一覧のリンク先の「会話」「SQL」をクリックすると、その画面を開く。

取込元の同期(差分更新)

フォルダから取り込んだナレッジは、ナレッジの詳細の 「設定」→「取込元の同期」 で元のフォルダの今の中身に合わせられる。画面はフォルダ同期と同じ形。

  • 状態
    • 開くと、元のフォルダで追加・変更・削除されたファイルの一覧が出る。
    • ファイルの中身は読まず、更新日時・サイズで比べる。大きなフォルダでもすぐに出る。
    • 「更新」 で、追加・変更されたファイルだけを取り込み、削除されたファイルのソースを消す。
  • 取込元のフォルダ — 取り込んだフォルダと最終更新の時刻。「解除」 で同期の対象から外せる。取り込んだソースは残る。
  • 対象は、フォルダごと取り込んだフォルダと、個別に取り込んだファイル。
  • SQL の結果・会話・PC からのアップロードは対象外。それぞれの画面からもう一度取り込む。
  • メニューはこれらがあるナレッジにだけ表示される。
  • アプリの中でファイルを削除・名前変更した時は、ナレッジにすぐ反映される(同期は要らない)。フォルダ同期や PC で直接ファイルを変えた時に使う。
  • 外部ストレージにつながらない時は、消えたとは判断せずソースを残す。
  • 取り込みの設定(埋め込みモデル・チャンク・Vision)は「読み込み」と同じ。進み具合は「取込進捗」で確かめる。

ソース(取り込んだ文書)の管理

ナレッジの詳細の一覧で、取り込み済みの文書を管理する。

  • ソース名 — クリックで変更できる。参照元の表示にも反映される。
  • リンク先 — 取り込み元のパスや URL。クリックで原本を開く。会話・SQL の結果から取り込んだものは「会話」「SQL」と表示され、その画面を開く。
  • メタデータ — 行の「詳細・メタデータ」アイコンで、案件 ID・部署などの属性を付ける。
  • メタデータ項目 — 「設定 → メタデータ項目」で項目(key・表示名・型)を定義する。詳細と一括設定の入力欄、チャットの検索での自動の絞り込み(管理者が無効にできる)、AI のナレッジ検索の絞り込みで共通に使う。
  • チャンクを管理 — 行の「チャンクを管理」アイコン(またはチャンク数)で開く。
    • チャンクごとの本文・文字数・参照回数(チャットや API の検索で AI に渡された回数)を見られる。
    • 有効 / 無効の切り替え、編集(埋め込みも作り直す)、追加、削除ができる。
    • 本文の検索、有効 / 無効の絞り込み、登録順 / 参照順の並べ替え、選んだチャンクの一括の有効 / 無効・削除もできる。
    • ファイルサイズ・埋め込みにかかった時間・参照されたチャンクの割合も表示される。
    • 分け方を変えたい時は取り込み直す。
  • ページ番号 — PDF などはページ単位で分割し、参照元を「ファイル名, p.N」で表示する。

埋め込みモデル

使うモデルは次の順に決まる。

  1. 取り込み時・検索時に指定したモデル
  2. ユーザー設定(RAG パラメータ)の Embedding Model
  3. 管理者が用意した埋め込みモデル

通常はユーザー設定を空にして、管理者が用意したモデルを使う。

次元の注意点(重要)

次元数はモデルごとに異なり、ナレッジ単位で管理される。

注意

1 つのナレッジの中では、取り込み時も検索時も同じ埋め込みモデルを使う。 混ぜると「Embedding dimension mismatch」エラーになる。

  • 検索では、ナレッジを取り込んだモデルが自動で使われる。
  • 横断検索は、同じモデルのナレッジ同士だけでできる。
  • モデルを変える時 — そのナレッジの文書をすべて削除して取り込み直すか、新しいナレッジを作る。

共有

共有の範囲はタグで決める(ユーザー・権限管理)。共有先のタグは所有者が選ぶ。

補足

ナレッジに管理者の特権はない。 取り込み・削除・編集ができるのは所有者だけ。共有先は閲覧と利用だけができる。

RAG と SQL の使い分け

データ向く機能
文書・非構造データRAG
集計・抽出など構造化データダッシュボード

関連