DigitalBase Docs

ステップ設定リファレンス

ワークフローの各ステップ (operator) の設定項目一覧。自動生成 — 正本はサーバー側の設定定義。画面のフォーム・AI によるフロー生成・この表は同じ定義から作成。

文字列項目で {{ 列名 }} / {{ steps["ステップ名"][0].列名 }} / {{ sys.today }} などの差し込みに対応(ワークフロー の「テンプレート」参照)。_ 始まりのキーは画面専用で、サーバーは無視。

全ステップ共通の項目

項目型既定説明
retry_on_failboolfalse全 operator 共通オプション
max_retriesint3
retry_wait_msint1000
on_errorenum"stop"
run_on_emptyboolfalse上流 0 行でも実行 (既定 False。0 件通知等の opt-in。operator 宣言側は runs_on_empty 属性)

取得 (source)

source_bigquery

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
access_tokenstr""OAuth access token (service_account_json の代わり)
service_account_jsonstr""サービスアカウントの JSON 鍵 (文字列)
project_idstr""GCP project id
querystr""SQL (標準 SQL)
paramsdict[str, Any] | null—{{名前}} の値 (保存クエリ・ダッシュボードのフィルタ)。query の {{ 列名 }} / {{ $today }} 等も値渡しになる
use_legacy_sqlboolfalselegacy SQL として実行する
max_resultsint0読む行数の総上限 (0 = PIPELINE_SOURCE_MAX_ROWS まで)
locationstr""dataset の location (US / asia-northeast1 …。空 = 自動)
query_timeout_secondsint0ジョブ完了を待つ上限秒 (0 = 上限なし = run 全体の上限 PIPELINE_RUN_MAX_HOURS まで)
endpoint_urlstr""API endpoint (テスト / emulator 用。空 = Google 本番)

source_chat_metrics

項目型既定説明
sincestr"24h"この期間内の利用を集計 ('24h' / '7d' …)
group_byenum (model / user / day / model_user)"model"集計の単位

source_clickhouse

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr"localhost"ClickHouse のホスト
portint8123HTTP インターフェースのポート
databasestr"default"データベース名
userstr"default"ユーザー名
passwordstr""パスワード
secureboolfalseHTTPS で接続する
querystr""SELECT 文
paramsdict[str, Any] | null—{{名前}} の値 (保存クエリ・ダッシュボードのフィルタ)。query の {{ 列名 }} / {{ $today }} 等も値渡しになる
max_rowsint0読む行数の上限 (0 = サーバ任せ。LIMIT は query 側で)

source_databricks

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""workspace のホスト (例 dbc-xxxx.cloud.databricks.com)
tokenstr""personal access token (PAT) / OAuth token
warehouse_idstr""SQL warehouse の id
catalogstr""既定の catalog (空 = warehouse の既定)
schema_namestr""既定の schema (空 = 既定)
querystr""SQL
paramsdict[str, Any] | null—{{名前}} の値 (保存クエリ・ダッシュボードのフィルタ)。query の {{ 列名 }} / {{ $today }} 等も値渡しになる
max_rowsint0読む行数の上限 (0 = PIPELINE_SOURCE_MAX_ROWS まで)
timeout_secondsint0完了を待つ上限秒 (0 = 上限なし = run 全体の上限 PIPELINE_RUN_MAX_HOURS まで)

source_dataset

項目型既定説明
namestr""読む dataset 名 (自分の所有のもの)
limitint0読む行数の上限 (0 = 全件)

source_elasticsearch

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
urlstr"http://localhost:9200"Elasticsearch の URL
indexstr""読む index
querydict{}クエリ DSL (空 = match_all)
sizeint1001 ページの件数 (max_rows 無しで size だけ指定した旧設定は size = 総上限)
max_rowsint0読む行数の総上限 (0 = env PIPELINE_SOURCE_MAX_ROWS)
sortlist | null—sort 句 (空 = 索引順)。一意でない列でも取りこぼさないよう最後に shard 内の順を足す
usernamestr""Basic 認証のユーザー名
passwordstr""Basic 認証のパスワード

source_event

項目型既定説明
eventstr"file.uploaded"起動するイベント種別 (file.uploaded / file.deleted / file.renamed / rag.ingested / pipeline.completed / pipeline.failed / dataset.updated)
filterstr""絞り込み。file.* は path の前方一致か glob、rag は bot_id、pipeline は pipeline_id、dataset はテーブル名。空 = 全件
enabledbooltruefalse にするとこの pipeline はイベントで起動しない

source_file

項目型既定説明
file_pathstr | null—読むファイルの仮想 path ('myfile/..' / 'shared/..' / 'conn_<id>/..' / 'oauth_<id>/..')。入力行に file_path 列があればそちらを行ごとに読む
file_datastr | null—ファイル内容を base64 で直接渡す (file_path の代わり)
file_namestr | null—file_data 用のファイル名 (拡張子から形式を判定する)
formatstr | null—形式: csv / tsv / excel / json / jsonl / pdf / docx / pptx / txt … (空 = 拡張子から自動)
sheet_namestr | null—excel のシート名 (空 = 先頭シート)
encodingstr"auto"文字コード (auto = 自動判定)
delimiterstr","csv の区切り文字
skip_rowsint0先頭から読み飛ばす行数
max_rowsint | null—読む行数の上限 (空 = 全部)

source_file_landed

項目型既定説明
directorystr""監視するフォルダ (source_file と同形: 'conn_<id>/sub/' / 'oauth_<id>/sub/' / 'myfile/..' / 'shared/..')
patternstr""対象ファイルの glob ('.csv' 等、wcmatch 互換。空 = '' と同じで、隠しファイルを除く全ファイル)
await_write_finish_secondsfloat0.0書き込み中と見なす秒数: 更新からこの秒数以内のファイルは次回に回す (0 = 無効)
await_write_max_secondsfloat30.0書き込み中の判定を打ち切る上限秒 (これを超えたら取り込む)
recursiveboolfalsetrue = 配下のフォルダも辿る (file_path は directory/sub/name の形)。既定は直下のみ
list_allboolfalsetrue = 差分ではなく現存する全ファイルを列挙 (load_to_rag mode=sync の削除伝播用)
emit_deletedboolfalsetrue = 消えたファイルも event='deleted' の行として出す (下流の load_to_rag upsert が chunk を削除。sync とは併用しない)
content_hashboolfalsetrue = サーバ etag の無いプロトコルで内容の sha256 を etag に使う (同サイズ同時刻の上書きも検知。上限 MB は env)

source_fins

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""PLC の IP アドレス
portint9600FINS/UDP のポート
networkint0FINS ネットワーク番号
dest_nodeint0PLC のノード番号 (0 = host の IP 末尾から自動)
dest_unitint0PLC のユニット番号
src_nodeint1こちらのノード番号
deviceslist[dict][]読むデバイス [{name, device, datatype, str_len?}] (device 例 'D100' / 'CIO10.05'、datatype: int16 / uint16 / int32 / uint32 / float32 / bool / string)
modeenum (single / rows)"single"single = 全点を 1 行に / rows = 点ごとに 1 行 (name, value)
timeoutfloat5.0応答待ちの秒数 (0 = 上限なし)
byteorderenum (big / little)"big"word 内の byte 並び
wordorderenum (little / big)"little"32bit 値の word 並び (オムロンは下位 word が先頭 = little)
add_timestampbooltruetimestamp 列を付ける

source_http_files

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
urlstr""取得する URL (mode=directory ではファイル一覧のページ)
modeenum (single / directory)"single"single = 1 ファイル / directory = ディレクトリ一覧 (autoindex) のリンクを pattern で選んで全部読む
patternstr""directory で対象にするファイル名の glob (例 '*.csv')
usernamestr""HTTP Basic のユーザー名 (url と同じ scheme・host・port にだけ送る。一覧の別の宛先へのリンクは資格情報なしで取る)
passwordstr""HTTP Basic のパスワード
formatstr""形式: csv / json / tsv … (空 = 拡張子から自動)
encodingstr"utf-8"文字コード
verify_tlsbooltrueTLS 証明書を検証する
connect_timeout_secondsint | null—接続 (TCP + TLS) のタイムアウト秒 (空 = 外部接続の既定 CONNECTOR_NET_TIMEOUT、0 = 上限なし)
timeout_secondsint60ダウンロード込みの全体タイムアウト秒 (0 = 上限なし)

source_image_ai

項目型既定説明
file_pathstr""単一 / dir(末尾 /) / glob / 接続 URI (source_file と同形)。画像・PDF・PPTX と動画 (mp4 / mov / m4v / webm / mkv)
modestr"vision"vision (VLM、失敗時 OCR) | ocr (OCR のみ)
vision_modelstr""vision モデル上書き (空=ユーザ設定。ocr 時は無視)
tilesint | null—大判図面向け: grid×grid タイル分割で高精度読取 (1=分割なし、2〜4。空=ユーザ設定)
promptstr""VLM への指示 (空=既定。ocr 時は無視)
thinkingstr | null—reasoning effort (none/low/medium/high。空=モデル既定)
temperaturefloat | null—判定用途は 0 で安定化 (None=モデル既定)
output_typestr"text"text(content 列) | structured(VLM に JSON 出させ列展開)
output_fieldstr"content"text 時の書き戻し先
output_fieldslist[dict][]structured 時: [{name,type,description}] → 列展開 (無い項目は None。フォルダ・glob の時は file_name も付く。JSON にならないページは _error と output_field に生の応答)

source_logs

項目型既定説明
log_typestr"app"ログの種類。'app' のみ (旧 'audit' は警告付きで app 扱い)
level_minenum (DEBUG / INFO / WARNING / ERROR / CRITICAL)"WARNING"このレベル以上を返す
sincestr"60m"この期間内 ('60m' / '1h' / '1d' / ISO8601)
limitint0返す件数の上限 (0 = すべて)
user_idstr""このユーザーのログだけに絞る (空 = 全員)

source_modbus

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""Modbus/TCP 機器の IP アドレス
portint502ポート
unit_idint1スレーブ / ユニット ID
readslist[dict][]読む点 [{name, fc, address, datatype, str_len?}] (fc: holding / input / coil / discrete、datatype: uint16 / int16 / uint32 / int32 / uint64 / int64 / float32 (= float) / float64 / string / bool。string は str_len (byte) が必須、1 要求は 125 register まで)
modeenum (single / rows)"single"single = 全点を 1 行に / rows = 点ごとに 1 行 (name, value)
timeoutfloat10.0応答待ちの秒数 (0 = 10 秒。pymodbus は上限なしを取れない)
byteorderenum (big / little)"big"word 内の byte 並び (Modbus 標準 = big)
wordorderenum (big / little)"big"32bit 値の word 並び (機器依存)
add_timestampbooltruetimestamp 列を付ける

source_mqtt

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""MQTT ブローカーのホスト
portint1883ポート (TLS は通常 8883)
usernamestr""ユーザー名
passwordstr""パスワード
tlsboolfalseTLS で接続する
client_idstr""client id (空 = 自動)
topicslist[str][]購読する topic (ワイルドカード可)
collect_secondsfloat5.0この秒数だけ受信して終わる (受信は run 実行中のみ)
max_messagesint100この件数で受信を打ち切る (0 = 上限なし、受信時間まで受ける)
payload_formatenum (json / text / raw)"json"payload の読み方: json = 行に展開 / text = payload 列に文字列 / raw = base64
qosint0QoS (0 / 1 / 2)
include_topicbooltruetopic 列を付ける

source_opcua

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
endpointstr""OPC UA endpoint (opc.tcp://host:4840)
usernamestr""ユーザー名 (空 = 匿名)
passwordstr""パスワード
securitystr"none"security policy (none / Basic256Sha256 / Basic128Rsa15 …)。none 以外は cert_path と key_path が必須
security_modeenum (Sign / SignAndEncrypt)"SignAndEncrypt"security が none 以外の時のメッセージ保護
cert_pathstr""クライアント証明書の path (security 使用時)
key_pathstr""クライアント秘密鍵の path
timeoutfloat10.0応答待ちの秒数 (0 = 上限なし)
node_idslist[dict][]読むノード ['ns=2;i=2', …] または [{name, node_id}, …] (source_opcua_browse の行をそのまま渡せる。列名は name、無ければ display_name)
modeenum (single / rows)"single"single = 全点を 1 行に / rows = 点ごとに 1 行 (name, value)
add_timestampbooltruetimestamp 列を付ける

source_opcua_browse

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
endpointstr""OPC UA endpoint (opc.tcp://host:4840)
usernamestr""ユーザー名 (空 = 匿名)
passwordstr""パスワード
securitystr"none"security policy (none / Basic256Sha256 / Basic128Rsa15 …)。none 以外は cert_path と key_path が必須
security_modeenum (Sign / SignAndEncrypt)"SignAndEncrypt"security が none 以外の時のメッセージ保護
cert_pathstr""クライアント証明書の path (security 使用時)
key_pathstr""クライアント秘密鍵の path
timeoutfloat10.0応答待ちの秒数 (0 = 上限なし)
rootstr"i=85"辿り始めるノード (既定 i=85 = Objects フォルダ)
depthint1辿る深さ (1 = root の直下だけ、0 = 末端まで)
include_valuesboolfalseVariable の現在値も読む (value 列)

source_pipeline_metrics

項目型既定説明
sincestr"24h"この期間内の run を集計 ('24h' / '7d' …)
group_byenum (pipeline / status / day)"pipeline"集計の単位
include_failed_onlyboolfalse失敗した run だけを集計する

source_rag_retrieve

項目型既定説明
bot_idstr必須検索するナレッジ (bot) の id
modeenum (batch / per_row)"batch"batch = 1 回だけ検索 / per_row = 入力行ごとに検索
querystr""検索文。{{ 列名 }} の差し込み可 (mode=per_row で行ごとに展開)
query_fieldstr | null—各行のこの列の値をそのまま検索文にする (query より優先)
top_kint | null—返す件数 (空 = 既定)
similarity_thresholdfloat | null—類似度の下限 (空 = 既定)
embedding_modelstr | null—埋め込みモデル (空 = bot の既定)
include_source_rowbooltrueper_row で元の入力行を source_row 列に同梱する

source_rest

項目型既定説明
connectionIdstr | null—保存済み 'rest' / OAuth 接続の id。認証と base_url をここから merge する
urlstr""リクエスト先。接続に base_url があれば相対 path でよい (空 = base_url をそのまま呼ぶ)
base_urlstr | null—接続先の base URL (通常は接続から merge される)
methodenum (GET / POST / PUT / PATCH / DELETE / HEAD / OPTIONS)"GET"HTTP メソッド
auth_typeenum | null (bearer / api_key / basic / oauth2)—認証方式 (接続から merge 可): bearer / api_key (auth_header にトークン) / basic / oauth2 (client credentials)
auth_tokenstr | null—bearer / api_key のトークン
auth_headerstr"Authorization"api_key の時のヘッダ名
auth_userstr | null—basic のユーザー名
auth_passstr | null—basic のパスワード
oauth2_token_urlstr | null—oauth2 のトークン発行 URL
oauth2_client_idstr | null—oauth2 の client id
oauth2_client_secretstr | null—oauth2 の client secret
oauth2_scopestr | null—oauth2 の scope
bodydict | null—JSON 本文 (POST / PUT / PATCH)
headersdict | null—追加ヘッダ {名前: 値}
timeoutfloat | null30.0タイムアウト (秒)。null = 上限なし (httpx の timeout=None)
response_formatenum (json / text / binary / auto)"json"応答の読み方: json = 行に展開 / text = 1 行 (text 列) / binary = base64 / auto = Content-Type で判定
query_paramsdict | null—クエリ文字列 {名前: 値}
data_pathstr | null—JSON 応答のうち行の配列がある場所 (ドット区切り。例 'data.items')
paginationdict | null—ページング設定 {type: page|offset|cursor|link, ...} (空 = 1 ページのみ)。page = page_param (既定 page)・per_page_param (既定 per_page)・per_page (空 = 送らず API の既定) / offset = offset_param (既定 offset)・limit_param (既定 limit)・limit (空 = 送らず API の既定) / cursor = cursor_param (既定 cursor)・cursor_path (既定 next_cursor) / link = next_path (既定 next)。page / offset は応答の has_more・hasMore / next・next_page・nextPage / total・total_count・totalCount・results と並ぶ count (最上位か meta・pagination の下) があればそれで止め、無ければ空のページが返るまで読む (API が 1 ページの件数を小さく丸めても途中で止めない。offset は受け取った件数だけ進める)
max_pagesint100読むページ数の上限
follow_redirectsbooltrueリダイレクトに従う
ignore_sslboolfalseTLS 証明書の検証を省く (接続に独自 CA があればそちらで検証し、この指定は無視)
error_on_failbooltruefalse = 2xx 以外でも step を失敗にしない

source_rsync

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""SSH 接続先ホスト
portint22SSH ポート
usernamestr""SSH ユーザー名
key_pathstr""秘密鍵の path (サーバー上)
remote_pathstr""取りに行く remote 側の path (ファイルまたはディレクトリ)
patternstr"*"同期後にディレクトリ内で読むファイルの glob
rsync_extra_argsstr""rsync に足す引数 (例 '--exclude=*.tmp')
formatstr""形式: csv / json / tsv … (空 = 拡張子から自動)
timeout_secondsint300rsync 全体のタイムアウト秒 (0 = 上限なし)
encodingstr"utf-8"文字コード
connect_timeout_secondsint | null—SSH 接続確立のタイムアウト秒 (空 = 外部接続の既定 CONNECTOR_NET_TIMEOUT、0 = 上限なし)
known_host_keystr""'keytype base64key' (ssh-keyscan の該当 2 列)。設定すると host key を検証する

source_saved_query

項目型既定説明
query_idstr""保存クエリの id (SQL 画面で保存したもの。自分の + タグ共有されたもの)
paramsdict[str, str]{}{{name}} パラメータの値 ({{ 列名 }} や {{ $today }} の差し込み可。空なら保存クエリの既定値)
limitint0取る行数の上限 (0 = SQL_EXECUTE_MAX_ROWS まで)

source_slmp

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""PLC の IP アドレス
portint5007SLMP (MC プロトコル) のポート
plc_typeenum (Q / L / QnA / iQ-L / iQ-R)"Q"PLC のシリーズ
frameenum (3E / 4E)"3E"フレーム形式
comm_typeenum (binary / ascii)"binary"通信コード
deviceslist[dict][]読むデバイス [{name, device, datatype, str_len?}] (device 例 'D100' / 'W1A0' / 'M0'、datatype=bool は bit デバイス)
modeenum (single / rows)"single"single = 全点を 1 行に / rows = 点ごとに 1 行 (name, value)
byteorderenum (big / little)"big"word 内の byte 並び
wordorderenum (little / big)"little"32bit 値の word 並び (三菱は下位 word が先頭 = little)
add_timestampbooltrue読んだ時刻 (UTC の ISO 8601) を _ts 列に付ける

source_snowflake

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
accountstr""account identifier (例 xy12345.ap-northeast-1.aws)
tokenstr""OAuth token / PAT / JWT
auth_typeenum (OAUTH / KEYPAIR_JWT)"OAUTH"token の種類
warehousestr""使う warehouse
databasestr""データベース名
schema_namestr""スキーマ名
rolestr""role (空 = 既定)
querystr""SQL
paramsdict[str, Any] | null—{{名前}} の値 (保存クエリ・ダッシュボードのフィルタ)。query の {{ 列名 }} / {{ $today }} 等も値渡しになる
max_rowsint0読む行数の上限 (0 = PIPELINE_SOURCE_MAX_ROWS まで)

source_sql

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
tablestr | null—読むテーブル名 (query を書かない場合)
columnslist[str] | null—table で SELECT する列 (空 = 全列)
wherestr | null—table の WHERE 句
limitint | null—table の LIMIT (snapshot 差分では使えない)
order_bystr | null—table の ORDER BY
querystr | null—SELECT 文 (table の代わり)。{{ env.X }} / {{ 列名 }} は bind パラメータとして値渡しされる
paramsdict | null—query の bind パラメータの値 {名前: 値}
incrementaldict | null—差分取込。mode=cursor (既定): {cursor_column, initial_value?, lookback?} = 前回の最大値より大きい行だけを DB に絞らせる / mode=snapshot: {primary_key, emit_deleted?} = 主キー + 行ハッシュの台帳と比べて追加・変更 (・削除) を出す (行数上限あり)
connectiondict | null—接続を直接指定 {type, host, port, database, user, password} (connectionId の代わり)

source_system_metrics

項目型既定説明
include_diskbooltrueディスク使用量も含める
include_usersbooltrueユーザー数も含める

source_webhook

項目型既定説明
secret_tokenstr | null—未設定なら認証なし、設定すると X-Webhook-Token ヘッダ必須
idempotency_headerstr""配送 id を運ぶヘッダ名 (provider の再送で run を二重に作らない冪等キー)。空なら Idempotency-Key / X-Delivery-Id 等を自動で見る

変換 (transform)

transform_aggregate

項目型既定説明
group_bystr""集約のキー列 (カンマ区切りで複数。空 = 全行を 1 つに)
aggregationslist[dict][]集約の一覧 [{field, function, alias?}]。function は count / sum / avg / min / max / count_unique / concat / first / last / collect

transform_ai

項目型既定説明
operationenum (map / filter / reduce / classify)"map"map = 行ごとに生成して列に書く / filter = 行ごとに残す・除くを判定 / reduce = 全行 (group_by ごと) をまとめて 1 つ生成 / classify = categories のどれかに分類
api_key_idstr | null—/apikey で発行したキー経由で実行 (Assistant の model / RAG / tools をそのまま使う。指定時は model や temperature 等の指定は無視)
modelstr | null—使う chat model (空 = 利用者の既定)
group_bystr | null—operation=reduce でまとめる単位の列名 (空 = 全行を 1 つ)
fieldstr""operation=classify で分類対象にする列名
categorieslist[str][]operation=classify の分類先の一覧 (応答がこの中に無い行はエラー。大文字小文字・前後の空白は問わず、この表記に直して書く)
multi_labelboolfalseclassify で複数のカテゴリを許す
promptstr""指示文。{{ 列名 }} で行の値を差し込める (行 JSON は自動で添付される)
system_promptstr | null—system プロンプト (任意)
output_fieldstr | null—生成結果を書く列名 (空 = 既定。既存の列名なら上書き)
temperaturefloat | null—生成のばらつき (0 = 決定的、空 = ユーザーの既定、それも空ならモデルの既定)
max_tokensint | null—出力トークンの上限 (空 = ユーザーの既定、それも空ならモデルの既定)
top_pfloat | null—nucleus sampling (空 = ユーザーの既定、それも空ならモデルの既定)
top_kint | null—top-k sampling (空 = ユーザーの既定、それも空ならモデルの既定)
repeat_penaltyfloat | null—繰り返し抑制 (空 = ユーザーの既定、それも空ならモデルの既定)
thinkingstr | null—思考の強さ none / low / medium / high (空 = モデルの既定。小さい推論モデルは none にすると思考で出力上限を使い切らない)
confidence_fieldstr | null—classify の確信度を書く列名 (空 = 書かない)
custom_promptstr | null—classify の指示文を差し替える (空 = 既定の分類プロンプト)

transform_cast

項目型既定説明
castslist[dict][]型変換の一覧 [{field, type, format?}]。type は integer / float / boolean / date / datetime / string、format は日付の書式 (例 "%Y-%m-%d")
on_error_valueAny—変換に失敗した時に入れる値 (null = 元の値のまま)

transform_code

項目型既定説明
codestr""Python。def transform(data) を定義し、行 (dict) の list を受けて dict の list を返す (None を返すと data をそのまま流す)。標準ライブラリのみ、ファイル / ネットワークは不可
modeenum (all / each)"all"all = 全行をまとめて 1 回呼ぶ / each = 1 行ずつ呼び、失敗した行は 'Row i:' で報告して除外 (on_error=continue_with_error_output の時は _error を付けて残す)
timeout_secondsint | null—実行の制限時間 (秒)。超えたら打ち切り (空 = EXECUTE_PYTHON_TIMEOUT)
sandboxbooltruetrue = import と builtins を制限。false で制限を外す (プロセス隔離・rlimit・timeout はそのまま)

transform_compare

項目型既定説明
left_stepstr""比較の左側 (前) になる step 名
right_stepstr""比較の右側 (後) になる step 名 (空 = この step への入力)
key_fieldstr"id"同じ行と見なすキーの列名
output_modeenum (all / added / removed / changed / unchanged)"all"出力する差分: all = 全部 (_compare 列で区別) / added / removed / changed / unchanged のみ

transform_crypto

項目型既定説明
actionenum (hash / base64_encode / base64_decode / url_encode / url_decode / hmac / encrypt / decrypt)"hash"処理の種類
fieldstr""対象の列名
output_fieldstr | null—結果を入れる列名 (空 = {field}_{action} という新しい列)
algorithmstr"sha256"hash / hmac のアルゴリズム (md5 / sha1 / sha256 / sha512)
secretstr""hmac / encrypt / decrypt の鍵。復号はこのステップで暗号化した値のみ対応

transform_datetime

項目型既定説明
actionenum (format / add / subtract / extract / now / difference)"format"format = 書式変換 / add・subtract = 加減算 / extract = 一部を取り出す / now = 現在時刻を入れる / difference = field と field2 の差
fieldstr""日時が入っている列名
field2str""action=difference の 2 つ目の日時の列名
output_fieldstr | null—結果を入れる列名 (空 = field を上書き。now は _datetime、difference は datetime_diff)
output_formatstr"%Y-%m-%d %H:%M:%S"出力書式 (strftime。%Y 年 / %m 月 / %d 日 / %H 時 / %M 分 / %S 秒)
add_yearsint0action=add / subtract の年数
add_monthsint0同・月数
add_daysint0同・日数
add_hoursint0同・時間
add_minutesint0同・分
add_secondsint0同・秒
extract_partstr"date"action=extract で取り出す部分

transform_dedup

項目型既定説明
fieldslist[str][]重複判定に使う列 (空 = 全列 = 行全体で判定)
keepenum (first / last)"first"重複のうち残す側: first = 先の行 / last = 後の行

transform_execute_command

項目型既定説明
commandstr必須実行するコマンド (サーバー上で shell 実行。{{ 列名 }} の差し込み可)
timeout_secondsint30制限時間 (秒、0 = 上限なし)
modeenum (once / each)"once"once = 1 回だけ実行 / each = 行ごとに実行
output_fieldstr"_stdout"標準出力を入れる列名

transform_filter

項目型既定説明
matchenum (all / any)"all"all = 全条件を満たす行を残す / any = どれか 1 つで残す
conditionslist[dict][]残す行の条件 [{field, op, value, type?, case_sensitive?}]。op は == != > >= < <= contains not_contains starts_with ends_with regex exists not_exists is_empty is_not_empty

transform_image_describe

項目型既定説明
path_fieldstr"file_path"画像パスが入っている入力カラム
output_fieldstr"description"説明文の書き戻し先カラム
vision_modelstr""モデル上書き (空=ユーザ設定)
tilesint | null—大判図面向け: grid×grid タイル分割で高精度読取 (1=分割なし、2〜4。空=ユーザ設定)
promptstr""VLM への指示 (空=ユーザ既定 / built-in)
thinkingstr | null—reasoning effort (none/low/medium/high。空=モデル既定)
temperaturefloat | null—判定用途は 0 で安定化 (None=モデル既定)
skip_non_imagesbooltrue画像/PDF 以外の拡張子の行は素通し

transform_limit

項目型既定説明
countint10残す行数
modeenum (head / tail)"head"head = 先頭から / tail = 末尾から

transform_markdown

項目型既定説明
actionenum (md_to_html / html_to_md)"md_to_html"md_to_html = Markdown → HTML / html_to_md = HTML → Markdown
fieldstr""変換する文字列の列名
output_fieldstr | null—結果を入れる列名 (空 = {field}_converted という新しい列)

transform_merge

項目型既定説明
modeenum (append / inner / left / outer)"append"append = 縦に連結 / inner・left・outer = left_key と right_key で結合
left_keystr""結合キー (左 = この step への入力側) の列名
right_keystr""結合キー (右 = right_data 側) の列名
clash_handlingenum (suffix / prefer_left / prefer_right)"suffix"同名列の扱い: suffix = _1 / _2 を付けて両方残す / prefer_left・prefer_right = 片方を採る
right_datalist[dict][]右側の行。通常は右辺 step の出力が注入される (直接指定も可)。ステップ出力どうしは「データ比較」で結合する

transform_rename_keys

項目型既定説明
mappingdict[str, str]{}列名の付け替え {"旧名": "新名", ...}

transform_set

項目型既定説明
operationslist[dict][]列の操作 [{action, field, value?, new_name?}]。action は set (値を入れる。{{ }} の差し込み可) / rename / delete / keep_only

transform_sort

項目型既定説明
sort_bystr""並べ替えの列名 (複数はカンマ区切り)
orderenum (asc / desc / random)"asc"asc = 昇順 / desc = 降順 / random = ランダム
sort_fieldslist[dict][]列ごとに順序を指定する時 [{field, order}]。sort_by より優先
deduplicate_bystr""この列で重複を除く (空 = 除かない)
keepenum (first / last)"first"重複を除く時に残す側: first = 先に出た行 / last = 後の行
limitint | null—並べ替え後に残す行数の上限

transform_split

項目型既定説明
modeenum (field / delimiter)"field"field = 配列の列を要素ごとの行に展開 / delimiter = 文字列の列を区切りで分割して行に
fieldstr""分割する列名 (配列、または区切り付きの文字列)
delimiterstr"\n"mode=delimiter の区切り文字 (\n = 改行、\t = タブ)
output_fieldstr""分割後の値を入れる列名 (空 = field と同じ列に上書き)
keep_originalboolfalse分割前の元の列も残す

transform_sql

項目型既定説明
sqlstr""SQL (DuckDB)。前のステップの行は input という表。例: SELECT region, SUM(amount) AS total FROM input GROUP BY region

transform_validate

項目型既定説明
modeenum (flag / reject)"flag"flag = 違反を _validation_errors 列に付けて全行残す / reject = 違反行を除く
ruleslist[dict][]検証規則 [{field, rule, value?, message?}]。rule は required / min / max / min_length / max_length / regex / in / type

transform_wait

項目型既定説明
secondsfloat1.0待つ秒数 (外部 API のレート制限の間隔合わせ等)

transform_xml

項目型既定説明
actionenum (parse / build)"parse"parse = XML 文字列を dict に / build = dict を XML 文字列に
fieldstr""対象の列名
output_fieldstr | null—結果を入れる列名 (空 = {field}_xml という新しい列)
root_tagstr"root"action=build のルート要素名

制御 (flow)

flow_break

項目型既定説明
break_onenum (empty / condition / error)"empty"loop を抜ける条件: empty = 入力が 0 行 / condition = conditions を満たす行がある / error = 行の _error に値がある (空・null は失敗扱いしない)
matchenum (all / any)"any"all = 全条件 / any = どれか 1 つ
conditionslist[dict][]break_on=condition の判定条件 [{field, op, value}] (flow_if と同じ語彙)

flow_call_workflow

項目型既定説明
pipeline_idstr必須呼び出す pipeline の id
pass_rowsbooltrueこの step の入力行を呼び出し先へ渡す (false = 入力なしで実行)

flow_if

項目型既定説明
modeenum (split / all)"split"split = 行ごとに true / false へ振り分け / all = 全行が満たした時だけ batch 全体を true へ
matchenum (all / any)"all"all = 全条件を満たす行が true / any = どれか 1 つで true
conditionslist[dict][]条件の一覧 [{field, op, value, type?, case_sensitive?}]。op は == != > >= < <= contains not_contains starts_with ends_with regex exists not_exists is_empty is_not_empty

flow_loop

項目型既定説明
group_bystr""指定列の値ごとに 1 バッチにする (= ファイル単位の反復等)。空 = batch_size 件ずつ
batch_sizeint11 回の反復で loop 本体に渡す行数 (1 = 1 行ずつ)
max_iterationsint1000反復回数の上限 (暴走防止)。0 = 上限なし
parallelboolfalseバッチを並列に実行する (I/O 待ちを重ねる。出力順は保持、flow_break は効かない)
max_concurrencyint5parallel 時の同時実行数

flow_noop

設定項目なし(共通の項目のみ)。

flow_stop_error

項目型既定説明
error_messagestr"Pipeline stopped by user"run を失敗として止める時のエラー文 (実行履歴に残る)

flow_switch

項目型既定説明
fieldstr""振り分けに使う列名
default_outputstr"default"どの規則にも合わない行を流す出力 (edge) 名
case_sensitivebooltrue値の比較で大文字小文字を区別する (規則側の case_sensitive で個別に上書き可)
ruleslist[dict][]振り分け規則 [{value, output, op?, type?, case_sensitive?}]。行の field が value に合えば output 名の edge へ。op は flow_if と同じ語彙 (省略 = 完全一致)

アクション (action)

action_chatwork

項目型既定説明
providerenum (`` / slack / teams / chatwork / lineworks / line / discord / telegram)""通知先の種類
connectionIdstr | null—保存済み API 接続の id (provider と同じ種類)。資格情報はここから merge される
message_templatestr""本文。{{ 列名 }} = 先頭行の値、{{ data }} = 全行、{{ sys.count }} = 件数
webhook_urlstr""slack / teams / discord の Incoming Webhook URL (接続から merge 可)
tokenstr""slack の bot token (webhook_url を使わない場合)
channelstr""slack の投稿先 channel
api_tokenstr""chatwork の API token
room_idstr""chatwork の room id
bot_idstr""LINE WORKS の bot id
channel_idstr""LINE WORKS の channel id
access_tokenstr""LINE WORKS の access token
channel_access_tokenstr""LINE Messaging API の channel access token
modeenum (`` / broadcast / push)""LINE の送り方: 空・push = to へ (to が空ならエラー) / broadcast = 友だち全員 (明示した時だけ)。broadcast はこのボットの友だち全員に届く
tostr""LINE の送信先 user id (push 用)
usernamestr | null—discord の表示名 (空 = webhook の既定)
bot_tokenstr""telegram の bot token
chat_idstr""telegram の chat id
parse_modestr""telegram の書式 (HTML / MarkdownV2 / 空 = プレーン)

action_discord

項目型既定説明
providerenum (`` / slack / teams / chatwork / lineworks / line / discord / telegram)""通知先の種類
connectionIdstr | null—保存済み API 接続の id (provider と同じ種類)。資格情報はここから merge される
message_templatestr""本文。{{ 列名 }} = 先頭行の値、{{ data }} = 全行、{{ sys.count }} = 件数
webhook_urlstr""slack / teams / discord の Incoming Webhook URL (接続から merge 可)
tokenstr""slack の bot token (webhook_url を使わない場合)
channelstr""slack の投稿先 channel
api_tokenstr""chatwork の API token
room_idstr""chatwork の room id
bot_idstr""LINE WORKS の bot id
channel_idstr""LINE WORKS の channel id
access_tokenstr""LINE WORKS の access token
channel_access_tokenstr""LINE Messaging API の channel access token
modeenum (`` / broadcast / push)""LINE の送り方: 空・push = to へ (to が空ならエラー) / broadcast = 友だち全員 (明示した時だけ)。broadcast はこのボットの友だち全員に届く
tostr""LINE の送信先 user id (push 用)
usernamestr | null—discord の表示名 (空 = webhook の既定)
bot_tokenstr""telegram の bot token
chat_idstr""telegram の chat id
parse_modestr""telegram の書式 (HTML / MarkdownV2 / 空 = プレーン)

action_email

項目型既定説明
connectionIdstr""保存済み SMTP 接続の id。以下の smtp_* はそこから merge される (個別に上書き可)
smtp_hoststr""SMTP サーバー
smtp_portint587ポート (587 = STARTTLS、465 = SSL)
smtp_userstr""SMTP のユーザー名
smtp_passwordstr""SMTP のパスワード
use_tlsstr"true"STARTTLS を使う ('true' / 'false'。接続の設定と同じ文字列形)
use_sslstr"false"SMTPS (implicit SSL) を使う。port 465 は自動で SSL
tls_verifystr"false"TLS のサーバー証明書を検証する ('true' / 'false')。既定は検証しない (社内の自己署名の SMTP を通す)
from_addressstr""送信元アドレス
from_namestr""送信元の表示名
to_addressstr""宛先 (カンマ区切りで複数、'名前 <a@example.com>' の形も可、{{ 列名 }} の差し込み可)
subjectstr""件名 ({{ }} の差し込み可)
body_templatestr""本文。{{ 列名 }} = 先頭行の値、{{ data }} = 全行、{{ sys.count }} = 件数
content_typeenum (text / html)"text"text = プレーン / html = HTML (差し込む値は html.escape される)

action_http_request

項目型既定説明
connectionIdstr | null—保存済み 'rest' / OAuth 接続の id。認証と base_url をここから merge する
urlstr""リクエスト先。接続に base_url があれば相対 path でよい。{{ 列名 }} の差し込み可
base_urlstr | null—接続先の base URL (通常は接続から merge される)
methodenum (GET / POST / PUT / PATCH / DELETE / HEAD / OPTIONS)"GET"HTTP メソッド
headersdict | null—追加ヘッダ {名前: 値}
body_templatestr | null—本文のテンプレート。{{ 列名 }} を行ごとに差し込む (content_type が JSON なら値は JSON エスケープされる)
content_typestr"application/json"本文の Content-Type
response_fieldstr"_response"応答を書く列名
timeoutfloat | null30.0タイムアウト (秒)。null = 上限なし (httpx の timeout=None)
ignore_errorsboolfalsetrue = 2xx 以外でも step を失敗にしない (後の行も送る)。失敗した行があり on_error=stop (既定) なら、その行で止めて後の行は送らない
auth_typeenum | null (bearer / api_key / basic / oauth2)—認証方式 (接続から merge 可): bearer = Authorization: Bearer / api_key = auth_header にトークン / basic = user と pass / oauth2 = client credentials (token は step ごとに 1 回取得)
auth_tokenstr | null—bearer / api_key のトークン
auth_headerstr"Authorization"api_key の時のヘッダ名
auth_userstr | null—basic のユーザー名
auth_passstr | null—basic のパスワード
oauth2_token_urlstr | null—oauth2 のトークン発行 URL
oauth2_client_idstr | null—oauth2 の client id
oauth2_client_secretstr | null—oauth2 の client secret
oauth2_scopestr | null—oauth2 の scope

action_line

項目型既定説明
providerenum (`` / slack / teams / chatwork / lineworks / line / discord / telegram)""通知先の種類
connectionIdstr | null—保存済み API 接続の id (provider と同じ種類)。資格情報はここから merge される
message_templatestr""本文。{{ 列名 }} = 先頭行の値、{{ data }} = 全行、{{ sys.count }} = 件数
webhook_urlstr""slack / teams / discord の Incoming Webhook URL (接続から merge 可)
tokenstr""slack の bot token (webhook_url を使わない場合)
channelstr""slack の投稿先 channel
api_tokenstr""chatwork の API token
room_idstr""chatwork の room id
bot_idstr""LINE WORKS の bot id
channel_idstr""LINE WORKS の channel id
access_tokenstr""LINE WORKS の access token
channel_access_tokenstr""LINE Messaging API の channel access token
modeenum (`` / broadcast / push)""LINE の送り方: 空・push = to へ (to が空ならエラー) / broadcast = 友だち全員 (明示した時だけ)。broadcast はこのボットの友だち全員に届く
tostr""LINE の送信先 user id (push 用)
usernamestr | null—discord の表示名 (空 = webhook の既定)
bot_tokenstr""telegram の bot token
chat_idstr""telegram の chat id
parse_modestr""telegram の書式 (HTML / MarkdownV2 / 空 = プレーン)

action_lineworks

項目型既定説明
providerenum (`` / slack / teams / chatwork / lineworks / line / discord / telegram)""通知先の種類
connectionIdstr | null—保存済み API 接続の id (provider と同じ種類)。資格情報はここから merge される
message_templatestr""本文。{{ 列名 }} = 先頭行の値、{{ data }} = 全行、{{ sys.count }} = 件数
webhook_urlstr""slack / teams / discord の Incoming Webhook URL (接続から merge 可)
tokenstr""slack の bot token (webhook_url を使わない場合)
channelstr""slack の投稿先 channel
api_tokenstr""chatwork の API token
room_idstr""chatwork の room id
bot_idstr""LINE WORKS の bot id
channel_idstr""LINE WORKS の channel id
access_tokenstr""LINE WORKS の access token
channel_access_tokenstr""LINE Messaging API の channel access token
modeenum (`` / broadcast / push)""LINE の送り方: 空・push = to へ (to が空ならエラー) / broadcast = 友だち全員 (明示した時だけ)。broadcast はこのボットの友だち全員に届く
tostr""LINE の送信先 user id (push 用)
usernamestr | null—discord の表示名 (空 = webhook の既定)
bot_tokenstr""telegram の bot token
chat_idstr""telegram の chat id
parse_modestr""telegram の書式 (HTML / MarkdownV2 / 空 = プレーン)

action_mcp_call

項目型既定説明
server_idstr""呼ぶ MCP サーバーの id (登録済みのもの)
toolstr""tool 名
argumentsdict | null—tool の引数。値に {{ 列名 }} を差し込める (行ごとに実行)
response_fieldstr"_mcp"tool の結果を書く列名
ignore_errorsboolfalsetrue = tool が isError を返しても step を止めず後の行も送る。false で on_error=stop (既定) なら、最初に失敗した行で止めて後の行は送らない

action_notify

項目型既定説明
providerenum (`` / slack / teams / chatwork / lineworks / line / discord / telegram)""通知先の種類
connectionIdstr | null—保存済み API 接続の id (provider と同じ種類)。資格情報はここから merge される
message_templatestr""本文。{{ 列名 }} = 先頭行の値、{{ data }} = 全行、{{ sys.count }} = 件数
webhook_urlstr""slack / teams / discord の Incoming Webhook URL (接続から merge 可)
tokenstr""slack の bot token (webhook_url を使わない場合)
channelstr""slack の投稿先 channel
api_tokenstr""chatwork の API token
room_idstr""chatwork の room id
bot_idstr""LINE WORKS の bot id
channel_idstr""LINE WORKS の channel id
access_tokenstr""LINE WORKS の access token
channel_access_tokenstr""LINE Messaging API の channel access token
modeenum (`` / broadcast / push)""LINE の送り方: 空・push = to へ (to が空ならエラー) / broadcast = 友だち全員 (明示した時だけ)。broadcast はこのボットの友だち全員に届く
tostr""LINE の送信先 user id (push 用)
usernamestr | null—discord の表示名 (空 = webhook の既定)
bot_tokenstr""telegram の bot token
chat_idstr""telegram の chat id
parse_modestr""telegram の書式 (HTML / MarkdownV2 / 空 = プレーン)

action_slack

項目型既定説明
providerenum (`` / slack / teams / chatwork / lineworks / line / discord / telegram)""通知先の種類
connectionIdstr | null—保存済み API 接続の id (provider と同じ種類)。資格情報はここから merge される
message_templatestr""本文。{{ 列名 }} = 先頭行の値、{{ data }} = 全行、{{ sys.count }} = 件数
webhook_urlstr""slack / teams / discord の Incoming Webhook URL (接続から merge 可)
tokenstr""slack の bot token (webhook_url を使わない場合)
channelstr""slack の投稿先 channel
api_tokenstr""chatwork の API token
room_idstr""chatwork の room id
bot_idstr""LINE WORKS の bot id
channel_idstr""LINE WORKS の channel id
access_tokenstr""LINE WORKS の access token
channel_access_tokenstr""LINE Messaging API の channel access token
modeenum (`` / broadcast / push)""LINE の送り方: 空・push = to へ (to が空ならエラー) / broadcast = 友だち全員 (明示した時だけ)。broadcast はこのボットの友だち全員に届く
tostr""LINE の送信先 user id (push 用)
usernamestr | null—discord の表示名 (空 = webhook の既定)
bot_tokenstr""telegram の bot token
chat_idstr""telegram の chat id
parse_modestr""telegram の書式 (HTML / MarkdownV2 / 空 = プレーン)

action_teams

項目型既定説明
providerenum (`` / slack / teams / chatwork / lineworks / line / discord / telegram)""通知先の種類
connectionIdstr | null—保存済み API 接続の id (provider と同じ種類)。資格情報はここから merge される
message_templatestr""本文。{{ 列名 }} = 先頭行の値、{{ data }} = 全行、{{ sys.count }} = 件数
webhook_urlstr""slack / teams / discord の Incoming Webhook URL (接続から merge 可)
tokenstr""slack の bot token (webhook_url を使わない場合)
channelstr""slack の投稿先 channel
api_tokenstr""chatwork の API token
room_idstr""chatwork の room id
bot_idstr""LINE WORKS の bot id
channel_idstr""LINE WORKS の channel id
access_tokenstr""LINE WORKS の access token
channel_access_tokenstr""LINE Messaging API の channel access token
modeenum (`` / broadcast / push)""LINE の送り方: 空・push = to へ (to が空ならエラー) / broadcast = 友だち全員 (明示した時だけ)。broadcast はこのボットの友だち全員に届く
tostr""LINE の送信先 user id (push 用)
usernamestr | null—discord の表示名 (空 = webhook の既定)
bot_tokenstr""telegram の bot token
chat_idstr""telegram の chat id
parse_modestr""telegram の書式 (HTML / MarkdownV2 / 空 = プレーン)

action_telegram

項目型既定説明
providerenum (`` / slack / teams / chatwork / lineworks / line / discord / telegram)""通知先の種類
connectionIdstr | null—保存済み API 接続の id (provider と同じ種類)。資格情報はここから merge される
message_templatestr""本文。{{ 列名 }} = 先頭行の値、{{ data }} = 全行、{{ sys.count }} = 件数
webhook_urlstr""slack / teams / discord の Incoming Webhook URL (接続から merge 可)
tokenstr""slack の bot token (webhook_url を使わない場合)
channelstr""slack の投稿先 channel
api_tokenstr""chatwork の API token
room_idstr""chatwork の room id
bot_idstr""LINE WORKS の bot id
channel_idstr""LINE WORKS の channel id
access_tokenstr""LINE WORKS の access token
channel_access_tokenstr""LINE Messaging API の channel access token
modeenum (`` / broadcast / push)""LINE の送り方: 空・push = to へ (to が空ならエラー) / broadcast = 友だち全員 (明示した時だけ)。broadcast はこのボットの友だち全員に届く
tostr""LINE の送信先 user id (push 用)
usernamestr | null—discord の表示名 (空 = webhook の既定)
bot_tokenstr""telegram の bot token
chat_idstr""telegram の chat id
parse_modestr""telegram の書式 (HTML / MarkdownV2 / 空 = プレーン)

action_webhook

項目型既定説明
urlstr必須送信先 URL
methodenum (POST / PUT / PATCH / GET / DELETE)"POST"HTTP メソッド
headersdict | null—追加ヘッダ {名前: 値}
body_templatestr | null—本文。{{ data }} = 全行 (JSON なら配列のまま)、{{ sys.count }} = 件数、{{ 列名 }} = 先頭行の値 (空 = 全行を JSON で送る)
auth_typeenum | null (bearer / api_key)—認証方式: bearer = Authorization: Bearer / api_key = auth_header にトークン
auth_tokenstr | null—認証トークン
auth_headerstr"Authorization"api_key の時のヘッダ名
sign_secretstr | null—署名 (HMAC) の鍵。指定すると本文の署名を sign_header に付ける
sign_headerstr"X-Signature"署名を入れるヘッダ名
sign_algorithmstr"sha256"署名のハッシュ (hashlib の名前: sha256 / sha1 …)
timeoutfloat | null30.0タイムアウト (秒)。null = 上限なし (httpx の timeout=None)
expected_statuslist[int] | null—成功と見なす HTTP status の一覧 (空 = 2xx)

保存 (load)

load_bigquery

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
access_tokenstr""OAuth access token (service_account_json の代わり)
service_account_jsonstr""サービスアカウントの JSON 鍵 (文字列)
project_idstr""GCP project id
dataset_idstr""書き込む先の dataset
table_idstr""書き込む先のテーブル
skip_invalid_rowsboolfalse不正な行を飛ばして残りを入れる
ignore_unknown_valuesboolfalseテーブルに無い列を無視する
endpoint_urlstr""API endpoint (テスト / emulator 用。空 = Google 本番)

load_clickhouse

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr"localhost"ClickHouse のホスト
portint8123HTTP インターフェースのポート
databasestr"default"データベース名
userstr"default"ユーザー名
passwordstr""パスワード
secureboolfalseHTTPS で接続する
tablestr""書き込む先のテーブル名 (JSONEachRow で insert)

load_elasticsearch

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
urlstr"http://localhost:9200"Elasticsearch の URL
indexstr""書き込む先の index ({{ $json.列 }} は行ごとに差し込む)
id_fieldstr""_id に使う列 (空 = 行の _id、無ければ自動採番)。_id / _index などの metadata 列は文書に入れない
usernamestr""Basic 認証のユーザー名
passwordstr""Basic 認証のパスワード

load_file

項目型既定説明
file_pathstr必須書き出す先の仮想 path ('myfile/..' / 'shared/..' / 'conn_<id>/..')。{{ sys.today }} 等の差し込み可
formatenum (`` / csv / tsv / json / jsonl / markdown / md / excel / xlsx)""出力形式 (空 = 保存先の拡張子から自動、拡張子で決まらなければ csv)。拡張子と違う形式を選ぶとその形式で書き、warning を出す
appendboolfalse既存ファイルに追記する (csv / excel は既存ヘッダに列を揃える)
allow_new_columnsboolfalseappend で既存ヘッダに無い列を許す (csv は書き直し、excel はヘッダ拡張)。既定はエラー
compressboolfalsegzip で出力する (excel は不可)
encodingstr"utf-8"文字コード
output_path_fieldstr""保存先の仮想 path を出力行のこの列に付ける (空 = 付けない)。後段の「ファイルを RAG に保存」や AI エージェント添付に渡すための口

load_files_to_rag

項目型既定説明
bot_idstr必須取り込む先のナレッジ (bot) の id
path_fieldstr"file_path"ファイルの仮想 path が入っている列名 (source_file_landed の出力と同じ)
metadata_columnslist[str][]行の値をそのファイルの chunk metadata に写す列名 (行 = ファイルなので行ごとに付く。予約キーは除く)
modeenum (append / upsert / sync)"upsert"append = 常に新規追加 / upsert = 同じ path の旧文書を置換 / sync = upsert + sync_scope 配下で今回の入力に無い path の文書を削除 (入力は全量列挙が前提)
sync_scopestr""sync の削除伝播の範囲 (仮想フォルダの prefix)。sync では必須
skip_unchangedbooltruemodified_field が既存文書の取込時刻より古ければ再取込しない
embedding_modelstr | null—埋め込みモデル (空 = bot 所有者の既定)
chunk_sizeint | null—chunk の文字数 (空 = 既定)
chunk_overlapint | null—chunk の重なり (空 = 既定)
modified_fieldstr"mtime"更新時刻が入っている列名
vision_modelstr | null—画像 / Office をテキスト化する VLM (空 = bot 所有者の設定)
vision_promptstr | null—VLM への指示 (空 = 既定)
vision_tilesint | null—画像の分割数 (空 = 既定)

load_fins

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""PLC の IP アドレス
portint9600FINS/UDP のポート
networkint0FINS ネットワーク番号
dest_nodeint0PLC のノード番号 (0 = host の IP 末尾から自動)
dest_unitint0PLC のユニット番号
src_nodeint1こちらのノード番号
writeslist[dict][]書くデバイス [{field, device, datatype, str_len?}] (field = 値を取る列名、省略時は name)
timeoutfloat5.0応答待ちの秒数 (0 = 上限なし)
byteorderenum (big / little)"big"word 内の byte 並び
wordorderenum (little / big)"little"32bit 値の word 並び

load_modbus

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""Modbus/TCP 機器の IP アドレス
portint502ポート
unit_idint1スレーブ / ユニット ID
writeslist[dict][]書く点 [{field, fc, address, datatype, str_len?}] (fc: holding / coil。field = 値を取る列名、省略時は name。coil と datatype bool は true/false・1/0・on/off・yes/no だけ受け、それ以外・空は書かずにエラー。範囲外の値もエラー、整数型への小数は切り捨てて warning。string は ASCII で str_len (byte) が必須)
timeoutfloat10.0応答待ちの秒数 (0 = 10 秒。pymodbus は上限なしを取れない)
byteorderenum (big / little)"big"word 内の byte 並び (Modbus 標準 = big)
wordorderenum (big / little)"big"32bit 値の word 並び (機器依存)

load_mqtt

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""MQTT ブローカーのホスト
portint1883ポート (TLS は通常 8883)
usernamestr""ユーザー名
passwordstr""パスワード
tlsboolfalseTLS で接続する
client_idstr""client id (空 = 自動)
topicstr""送る topic (固定)。topic_field があればそちら
topic_fieldstr""行ごとの topic をこの列から取る
payload_fieldstr""この列の値だけを送る (空 = 行全体を JSON にして送る)
payload_formatenum (json / text)"json"json = JSON で送る / text = 文字列のまま送る (payload_field か 1 列の行が必要。複数列なら JSON + warning)
qosint0QoS (0 / 1 / 2)
retainboolfalseretain フラグ

load_opcua

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
endpointstr""OPC UA endpoint (opc.tcp://host:4840)
usernamestr""ユーザー名 (空 = 匿名)
passwordstr""パスワード
securitystr"none"security policy (none / Basic256Sha256 / Basic128Rsa15 …)。none 以外は cert_path と key_path が必須
security_modeenum (Sign / SignAndEncrypt)"SignAndEncrypt"security が none 以外の時のメッセージ保護
cert_pathstr""クライアント証明書の path (security 使用時)
key_pathstr""クライアント秘密鍵の path
timeoutfloat10.0応答待ちの秒数 (0 = 上限なし)
writeslist[dict][]書くノード [{field, node_id, datatype?}] (field = 値を取る列名、省略時は name。datatype Int16 / Int32 / Int64 / UInt16 / UInt32 / Float / Double / Boolean / String、省略時はノードの型に合わせる。Boolean は true/false・1/0・on/off・yes/no だけ受け、範囲外の整数とあわせて書かずにエラー、整数型への小数は切り捨てて warning)

load_postgres_dataset

項目型既定説明
namestr""dataset 名 (画面に出る名前。自分の所有として保存される)
descriptionstr""dataset の説明
modeenum (replace / append)"replace"replace = 入れ直す / append = 追記
storageenum (`` / pg / lake)""保存形式: pg = PostgreSQL (更新する表・キーで引く表) / lake = Parquet (大きい表・集計する表。SQL は DuckDB で読み取りのみ) / 空 = 既存の形式 (新規は pg)

load_rsync

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""SSH 接続先ホスト
portint22SSH ポート
usernamestr""SSH ユーザー名
key_pathstr""秘密鍵の path (サーバー上)
remote_pathstr""書き出す remote 側の path
rsync_extra_argsstr""rsync に足す引数
formatstr"csv"出力形式: csv / json / tsv …
timeout_secondsint300rsync 全体のタイムアウト秒 (0 = 上限なし)
encodingstr"utf-8"文字コード
connect_timeout_secondsint | null—SSH 接続確立のタイムアウト秒 (空 = 外部接続の既定 CONNECTOR_NET_TIMEOUT、0 = 上限なし)
known_host_keystr""'keytype base64key' (ssh-keyscan の該当 2 列)。設定すると host key を検証する

load_slmp

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
hoststr""PLC の IP アドレス
portint5007SLMP (MC プロトコル) のポート
plc_typeenum (Q / L / QnA / iQ-L / iQ-R)"Q"PLC のシリーズ
frameenum (3E / 4E)"3E"フレーム形式
comm_typeenum (binary / ascii)"binary"通信コード
writeslist[dict][]書くデバイス [{field, device, datatype, str_len?}] (field = 値を取る列名、省略時は name)
byteorderenum (big / little)"big"word 内の byte 並び
wordorderenum (little / big)"little"32bit 値の word 並び

load_snowflake

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
accountstr""account identifier (例 xy12345.ap-northeast-1.aws)
tokenstr""OAuth token / PAT / JWT
auth_typeenum (OAUTH / KEYPAIR_JWT)"OAUTH"token の種類
warehousestr""使う warehouse
databasestr""データベース名
schema_namestr""スキーマ名
rolestr""role (空 = 既定)
tablestr""書き込む先 (table / schema.table / db.schema.table。英数字と _ $ のみ)

load_sql

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
tablestr必須書き込む先のテーブル名
write_dispositionenum (append / replace / merge)"append"append = 追記 / replace = 全消しして入れ直す (置換はテーブルを空にしてから書き込みます) / merge = primary_key で upsert
primary_keystr | null—merge で突き合わせる主キー列 (カンマ区切りで複合可)
data_modeenum (auto / manual)"auto"auto = 入力の列名をそのまま書く / manual = column_map で列を対応付ける
column_maplist[dict] | null—manual の列対応 [{column: 書き込む列, value: 入力の列名 / {{ テンプレート }} / 固定値}]
create_tablebooltrueテーブルが無ければ入力行の型から作る
batch_sizeint1000一括 insert の件数
connectiondict | null—接続を直接指定 (connectionId の代わり)

load_to_rag

項目型既定説明
bot_idstr必須取り込む先のナレッジ (bot) の id
modeenum (append / replace_all / upsert / sync)"append"append = 毎回新しい文書として追加 / replace_all = この pipeline が書いた chunk を全部消してから取込 / upsert = dedup_field の値ごとに文書化し、同じキーの旧 chunk だけ置換 (差分取込向け) / sync = upsert + 今回の入力に無いキーの chunk を削除 (削除伝播。同期は今回の入力に無いソースを削除するので、入力は全量列挙が前提)
dedup_fieldstr""upsert / sync で文書を識別する列名 (例: file_path、SQL なら主キー)
filename_templatestr | null—/rag 画面での表示名。{pipeline_name} / {timestamp} / {row_count} を使える (既定 'pipeline 名 YYYY-MM-DD HH:MM')
metadata_columnslist[str][]行の値を chunk の metadata に写す列名 (bot の metadata 項目と同名を想定。文書は行グループ単位なので先頭行の値。予約キーは除く)
embedding_modelstr | null—埋め込みモデル (空 = bot 所有者の既定)
chunk_sizeint | null—chunk の文字数 (空 = bot 所有者の設定、無ければ RAG_CHUNK_SIZE)
chunk_overlapint | null—隣の chunk と重ねる文字数 (空 = bot 所有者の設定、無ければ RAG_CHUNK_OVERLAP)

その他

ai_agent

項目型既定説明
api_key_idstr""Assistant(sk-) = エージェント本体。必須
modestr"per_row"per_row | reduce
promptstr""指示 ({{ $json.field }} での個別差し込みも可)
output_typestr"text"edit (モデルが選んだ項目を直す・足す) | structured | text (保存済み step。output_type の無い step もこれ)
output_fieldstr"ai_result"text 時の書き戻し先カラム (path 可)
output_fieldslist[dict][]structured 時: [{name,type,description}] → 行に列展開(spread)。name は path 可
include_row_databooltrueper_row: 行全体を JSON で自動添付 (= 指示と データを分離)。edit は常に添付
input_fieldslist[str][]添付カラムの絞り込み (空=全カラム。トークン/PII 制御用。edit では見せた列だけが直る対象になる)
attachment_fieldstr""添付: 行中の仮想 path (str / list / カンマ区切り) のファイルを chat の添付と同様に渡す。 画像はマルチモーダル parts (Assistant の VLM 設定で解析)、文書はテキスト抽出して prompt に連結。
concurrencyint1per_row を >1 で有界並列 (I/O バウンド)
on_row_errorstr"mark"per-row 失敗の扱い: mark(_error 付与) | skip(除外) | keep(素通し)
systemstr""追加 system (任意。通常は Assistant 側で完結)
max_charsint0行/全行 JSON・添付テキストの上限 (0 = 文脈予算に合わせる。ai と同じ)

execute_sql

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
querystr必須実行する SQL。{{ env.X }} / {{ 列名 }} は bind パラメータ (:p0, :p1 …) として値渡しされる (値に ' や ; があっても SQL として解釈されない)
raw_templateboolfalsetrue = テンプレートを文字列として展開する (テーブル名など識別子の位置で使う時だけ。injection 対策は利用者責任)
connectiondict | null—接続を直接指定 (connectionId の代わり)

run_notebook

項目型既定説明
notebook_idstr""ノートブックの id (SQL 画面で作ったもの。自分の + タグ共有されたもの)

update_sql

項目型既定説明
connectionIdstr | null—保存済み接続の id。接続の設定をここから merge する (step に書いた項目が優先)
tablestr必須更新するテーブル名
primary_keystr必須突き合わせる主キー列
update_columnslist[str] | null—更新する列 (空 = 入力の主キー以外の全列)
connectiondict | null—接続を直接指定 (connectionId の代わり)