メインコンテンツにスキップ
自媒科技企業向けAI・開発から導入まで
日本語JA
プロジェクト相談
プロジェクト相談

企業AIプロジェクトWiki · データ・知識・モデル

テストデータ

別名Test data · 試験データ · テストデータセット · テスト入力データ · テスト用サンプルデータ

定義

テストデータとは、一つ又は複数のテストを実行するために準備する管理対象データである。テスト対象を必要な事前状態に置くデータ、対象へ与える入力、外部依存から返す応答、並びに期待結果と合否を決める参照データを含み、目的、出所又は生成方法、適用版、網羅条件、機微性及びリセット方法を識別できるようにする。

テストデータは条件を実行・判定可能にし、適当に集めた例ではない

一つのテストに必要なのは画面へ入力する値だけとは限らない。規定状態を作るため、既存のアカウント、役割、仕入先、在庫、履歴状態、日時、外部応答及び構成が必要になる。実行後には、期待状態、金額、メッセージ、監査記録又は禁止される副作用によって結果を判断する。これらの条件と判断を支えるデータがテストデータである。

NASA の資料はテスト入力、事前条件、期待結果、評価基準及びテスト構成を分け、許容範囲、境界、無効入力、異常、負荷及び復旧を対象に含める。したがってテストデータは明示した目的に仕えなければならず、何を網羅するか不明な実在風 DB スナップショットで設計を代替できない。

ISO/IEC/IEEE 29119 シリーズは概念、プロセス、文書及び設計技法を分けている。テストデータは実行資産の一部だが、十分性はテストベース、リスク、網羅モデル、期待結果及び証拠で決まる。行数が多いだけでは網羅性を証明しない。

管理可能なテストデータに含めるもの

入力レコードだけでは完全なテストデータではありません。対応条件、出所、期待結果、事前状態の復元、利用可能環境、期限も必要です。これらを一緒に版管理して初めて結果を再現できます。

ID と版

データセット、レコード群又は生成レシピに安定 ID を与え、対象システム、ソフトウェア、モデル、規則、インターフェース及びスキーマ版を記録し、同名ファイルの無断変更を防ぐ。

目的と追跡

要件、リスク、業務規則、シナリオ、不具合又は変更へ結び、正常、拒否、境界、復旧その他どの性質を示すかを記す。

事前状態

開始前に必要な主体、対象、残高、権限、ワークフロー状態、時刻及び依存状態と、それを構築・確認する方法を記録する。

入力と刺激

画面項目、ファイル、メッセージ、API 要求、機器信号、時刻進行、並行順序又は操作を含み、単位、形式、文字コード及び出所の意味を保つ。

依存・テストダブル応答

外部システム、シミュレータ、スタブ又はモデルの成功、拒否、タイムアウト、重複、順序逆転及び部分結果を定義し、実インターフェース契約から外れないようにする。

期待結果と許容差

出力、状態変更、記録、通知、ツール動作及び禁止副作用を示す。数値、確率又は人の判断には許容差、採点及び裁定規則を付ける。

出所、処理、機微性

手作業、規則生成、合成、匿名化した本番由来又は承認済み実データを区別し、変換、権利、個人・機密区分及びアクセス制限を残す。

構築、消去、保存

投入順、固有値戦略、リセット又はロールバック、実行後削除、失敗証拠の保存及び期限処分を定め、テスト間汚染を防ぐ。

要件、シナリオ及びリスクからテストデータを導く

入手しやすい記録を先に集め、測れるものを探す方法では足りません。要件と場面の条件、境界、例外、重大結果から必要なID、対象、状態、入力組合せを逆算し、各データ群に検証目的を持たせます。

  1. 対象と正式版を固定する

    システム、ソフトウェア、モデル、インターフェース、規則、構成及び環境版を先に識別する。同じデータでも版が違えば期待結果が変わり得る。

  2. テストベースを確認する

    承認済み要件、業務規則、インターフェース契約、データ定義、リスク統制、変更及び過去不具合を使い、現実装から正解を逆算しない。

  3. 正常・異常シナリオを展開する

    業務の主体、対象、状態、契機、依存、結果及び補償をたどり、資料不足、権限不足、重複、並行、タイムアウト及び外部障害を含める。

  4. 網羅技法を選ぶ

    値・分類には同値分割と境界値、規則組合せにはデシジョンテーブル、ライフサイクルには状態遷移、順序・境界にはシナリオ、組合せ及びエラー推測を使う。

  5. 十分な中で最も低リスクの出所を選ぶ

    少量の手作業データ、再現可能生成、合成データ、評価済み匿名化サンプルを優先し、それで目的を満たせない場合だけ厳格に限定した実データを検討する。

  6. テストオラクルを作る

    業務規則、独立計算、権威あるシステム、承認例又は有権専門家から期待結果を得る。単一真値がない場合は採点、確認及び不一致処理を事前承認する。

  7. 網羅と危害を審査する

    業務、テスト、データ、セキュリティ、プライバシー及び分野担当が、欠落集団、希少状態、誤統合、機微内容、不可逆動作及びテスト自体のリスクを確認する。

  8. 再現可能な基準版にする

    データ版、生成 seed、変換コード、スキーマ、チェックサム、環境準備、順序及び消去方法を保存し、実行記録と不具合証拠へ結ぶ。

テストデータは意味ある分類とリスクを網羅し、行数を競わない

似た正常記録が一万件あっても、通貨欠落、権限競合、発効日境界を逃すことがあります。業務同値分類、状態、集団、リスクで層別し、件数は各層で十分な証拠を得る手段とします。

正常・代表データ

主要利用者、業務対象、経路、形式及び一般的組合せを予定条件で網羅し、整った理想例だけに偏らせない。

同値分割

同じ扱いを受けると予想する有効・無効値を重ならない集合に分け、各集合から代表値を選ぶ。分類根拠は要件と実装リスクに置く。

境界値

最小・最大長、金額限度、発効日、容量上限及びタイムアウトの値と隣接値を調べる。含む・含まない境目では不具合が起きやすい。

規則組合せ

条件組合せ、優先、例外及び競合をデシジョンテーブルで網羅する。各項目が個別に有効でも組合せ判断が正しいとは限らない。

状態と時間

許可・禁止遷移、終端、取消し、訂正、遅延事象、時刻帯、有効期間、順序逆転及び並行更新を、前後状態が確認できる形で扱う。

権限と主体

本人、代理、期限切れ委任、組織横断、権限不足及び職務競合の ID を用意し、可能な行為だけでなく閲覧・判断・実行できない行為も検証する。

異常と復旧

欠落、形式誤り、重複、タイムアウト、依存停止、部分成功、資源枯渇及び再試行を作り、安全停止、冪等性、照合、補償及び復旧を確認する。

規模と分布

性能データは件数、項目幅、関係密度、集中、長い裾、到着率及び並行分布を合わせる。同一行の大量複製は本番複雑性を再現しない。

手作業、生成、合成、匿名化及び実データには別々の限界がある

手作業は境界制御、合成は拡張、実データは分布と汚れの発見に向きますが、どれにも盲点と権利があります。選択理由、変換、表せないことを示し、元の本番表でないというだけで低リスクとしません。

出所適用と限界
手作業少数の精密な規則、境界、異常テストに向き、期待結果を確認しやすいが、実データの複雑な組合せや長い裾を逃しやすい。
規則・プログラム生成固定 seed と制約で組合せ、状態及び規模を反復生成できるが、生成規則の誤りは偽の網羅を系統的に作る。
合成データ本番主体に対応しない記録を生成し、実個人データの直接利用を減らせるが、業務妥当性、統計的忠実性、偏り、漏えい及び希少リスクの保持を評価する。
匿名化・仮名化した複製移行・統合で複雑な構造を保てるが、氏名削除や項目マスクは匿名性を保証せず、結合、希少値及び対応表から主体を識別し得る。
管理された実サンプル低リスク手段で目的を満たせない場合だけ、最小範囲、根拠・承認、隔離、監査、期限及び処分を伴って検討する。便宜で本番 DB を複製しない。
取得・リプレイ実プロトコル、順序又は障害を再現できるが、機微内容、認証情報、鮮度、第三者権利及び副作用を管理し、本番対象へ到達させない。

信頼できる期待結果がなければ、出力は得られても合否を決められない

結果が返ったことは正しさの証拠ではありません。期待結果は承認済みルール、権威資料、資格ある判断から作り、許容範囲と一意に決められない場合も記録します。そうでなければ変化は見えても要件適合を証明できません。

厳密な期待値

決定的な計算、状態、コード及びメッセージには完全な値を示し、丸め、時刻帯、順序、文字コード及び null の意味を明記する。

制約と不変条件

全出力が大きい場合、金額保存、状態単調性、一意性、参照整合、権限非漏えい又は再試行で重複作成しない等、常に成立すべき性質を確認する。

独立参照

承認済み手計算、権威システム、別実装又は検証済みゴールデンサンプルを用い、期待値が被試験コードと同じ誤りを共有しないようにする。

許容範囲と統計判定

性能、検索又は確率出力には、結果を見る前に指標、対象サンプル、許容差、不確かさ、セグメント別しきい値及び失敗規則を定める。

専門家と複数アノテータ

客観的単一回答がない場合、指針、資格、独立判断、不一致、裁定者及び判定不能ラベルを記録し、架空の正解を強制しない。

禁止結果

期待出力だけでなく、権限外閲覧、自動承認、本番対象変更、プロンプト・個人情報漏えい、黙示的消失又は二重請求等の停止条件を定める。

ID、関係及び状態を再構築できなければ、自動テスト同士が干渉する

失敗原因が現在入力ではなく、前回残したアカウント、承認作業、残高、キャッシュの場合があります。完全な関係を作り、並列実行を隔離し、終了後に清掃して、各ケースを既知状態から始めます。

  1. 専用テスト ID を使う

    アカウント、組織、役割、鍵及び証明書を本番から分離し、所有、権限及び期限を追跡する。共有管理者一つで全役割を代用しない。

    テスト ID 台帳、所有者、権限スナップショット、期限

  2. 参照関係を保つ

    マスター、取引、添付、状態履歴及び外部 ID をモデルどおり接続する。業務表への直接挿入だけでは実制約を迂回し得る。

    関係図、投入順、整合性検査

  3. テストごとに所有させる

    並行実行は固有 namespace、tenant、transaction 又はタグ付きレコードを使い、別テストの対象を変更しない。

    所有タグ、実行 ID、並行競合検査

  4. 既知状態から始める

    実行前に残高、状態、時刻、queue 及び依存応答を確認し、準備失敗、製品失敗及び assertion 誤りを分ける。

    準備結果と事前検証ログ

  5. 証拠を壊さず消去する

    成功データは自動取消し・削除できる。失敗データは再現に必要な最小証拠を保存してから権限と期限に従って処分する。

    消去結果、残存 scan、証拠参照

テスト環境もデータ保護の対象であり、マスキングは数項目の削除ではない

氏名を置換しても、珍しい職位、時刻、住所、関係の組合せから個人を特定できる場合があります。再識別と悪用を評価し、抽出、アクセス、複製、期限削除を制御し、外部試験ツールの保持も確認します。

Microsoft のテスト指針は合成データを既定とし、本番データが本当に必要な場合は機微情報を匿名化し、永続テストデータを本番から分離して保護するよう勧める。ただし製品指針は普遍的な法的判断ではなく、主体、目的、地域、契約及び組織制度に応じて根拠と統制を決める。

NIST SP 800-188 は、開発者やテスター向けマスキングツールの保護が限定的な場合を指摘する。直接識別子だけでなく、準識別子、希少な組合せ、自由記述、画像、添付、場所・時刻及び外部結合データからも再識別され得る。

仮名化データは対応表又は追加情報で元に戻せるため、対応、鍵及び原本を分離保護する。さらに営業秘密、セキュリティ構成、実認証情報又は実行可能な悪性 payload が含まれ得るため、最小化、承認、隔離、保護、監査、事故対応及び期限削除が必要である。

テストデータは再構築、更新、廃止でき、共有 DB に永久蓄積しない

ルール、連携、データモデルが変わると、旧データは現要件を表さない場合があります。生成方法、版、廃止理由を残し、更新後も指標比較できるか説明します。不要なデータと資格情報は期限どおり退出させます。

  1. 登録

    所有者、目的、出所、機微性、license、適用版、網羅範囲及び許可環境を記録する。未登録データを正式受入証拠に使わない。

  2. 生成・変換

    script、規則、seed、原版、抽出及び匿名化手順を版管理し、件数、schema、関係、分布及びプライバシー目標を検証する。

  3. 梱包・公開

    明確な版、checksum、変更説明を用い、データをケース対応、期待結果、準備、reset 及び環境条件と一緒に渡す。

  4. 投入・事前検査

    隔離環境で順に状態を作り、対象版、依存、時計、権限及び整合性を確認する。事前検査失敗を製品テスト失敗として数えない。

  5. 実行・証拠保存

    実際のデータ版、実行 ID、時刻、出力及び差異を保存する。再現に十分な失敗情報を残すが、機微データ全体を無期限保持しない。

  6. 消去・復位

    外部副作用を戻し、queue・cache を消し、ID・secret を回収し、仮対象を削除して残存を検査し、次回を証明可能な状態から始める。

  7. 変更・廃止

    要件、schema、規則、本番分布、不具合又はリスクの変化時に再評価し、旧版利用を停止して保存規則どおり保管又は安全削除する。

構成例：購買申請を受入可能にするテストデータ一式

以下の顧客と無関係な調達場面で、正常、境界、情報不足、重複、権限条件を一組にします。各記録は期待ルール、環境状態、清掃方法へ結び、入力表だけを渡す形にしません。

正常提出

権限ある申請者、有効部門、利用可能予算、有効仕入先、金額・通貨、必要添付及び依存成功応答を準備し、申請が一件作られ承認待ちとなることを期待する。自動承認はしない。

境界と規則

承認済み限度 M1 の直下、等値、直上及び単位・通貨不整合を用意し、適用規則版に従う承認経路と禁止動作を示す。

資料不足

仕入先 ID、金額・通貨、根拠添付又は予算出所を別々に欠落させ、具体的不足を示して正式提出を止める。モデルによる推測補完はしない。

ID と権限

本人、代理、期限切れ委任、組織横断及び職務競合を用意し、閲覧、提出、承認権限と拒否監査を照合する。

インターフェースと復旧

ERP タイムアウト、重複、受付済み状態不明、順序逆転通知及び部分失敗を模擬し、冪等 key、照会、照合及び補償を確認して盲目的に再作成しない。

データ出所

架空の人物、仕入先及び添付を生成する。移行不具合で匿名化構造サンプルが必要なら、出所、処理、アクセス、期限及び破棄を別途登録する。

引継ぎ一式

データ版、generator、項目・関係説明、ケース対応、期待結果、投入・reset、機微性、既知の空白及び承認を渡し、顧客が同じ結論を再現できるようにする。

企業 AI のテストセットは実利用を表し、学習・調整から独立させる

開発中に同じ問題群を繰り返し見てプロンプトや検索を直すと、点数は上がっても新しい仕事への性能を証明しません。実際の言語とリスクを表しつつ、方式選択に使わない独立証拠を一部残します。

用途を分ける

学習データは parameter fitting、検証データは model・threshold 選択、テストデータは凍結案の比較的独立な評価に用いる。検索知識、実行時 context、red-team prompt 及び本番監視サンプルも別対象である。

何度も見た問題集は、もう独立試験ではない

サンプル、近似重複、テンプレート、出所文書が学習、知識、プロンプト開発、人手調整へ入ると、点数は既知内容に有利になります。接触を記録し、重要公開では方式選択に未使用のデータを残します。答えを見て改修した集合は開発データへ分類します。

予定利用を代表する

task、言語、役割、文書型、資料品質、地域、時期、集団及び結果リスクで層別し、運用分布との差を示す。単一平均で希少又は高リスク失敗を隠さない。

知識・能力限界を含める

十分な証拠、不足、矛盾、範囲外、陳腐化、権限外内容及び悪性指示を用意し、回答、拒否、確認及び人への引継ぎを検証する。

ラベル根拠を保存する

期待回答、根拠箇所、ツール動作及びリスクラベルごとに規則、出所版、annotation guide、担当資格、不一致及び裁定を記録し、判定不能も認める。

組合せ全体を評価する

model だけでなく prompt、retrieval、knowledge、rule、tool、filter 及び人手流程の版を固定し、回答品質、根拠整合、権限、副作用、遅延、費用及び引継ぎを測る。

blind・holdout データを使う

重要 release では開発担当に非公開のサンプル又は相対的に独立した評価者を置く。NIST AITE の隔離 blind data は学習・テスト汚染を減らす独立評価原則の例であり、同一基盤採用を要求しない。

基準を保ちながら更新する

本番 topic、knowledge 及び攻撃の変化に応じて追加しつつ、管理された core regression set と版間比較を保つ。差替え、再ラベル又は削除理由と過去指標への影響を記録する。

隣接概念との違い

テストデータは実行条件、テストケースは手順、期待結果は判定、環境は実行場所を提供します。共同で証拠になりますが代替できません。学習、検証、本番監視データも似て見えて、目的と独立性が違います。

概念テストデータとの違い
テストケース目的、事前条件、手順、入力及び期待結果を記す。テストデータはそこで参照、投入、送信又は判定に使う具体資産である。
テスト環境計算、network、構成、依存及び権限条件を提供する。テストデータは中で業務状態を作るが相互代替しない。
受入サンプル正式受入用に双方が選定・確認し、受入対象と合格基準へ結ぶテストデータの一種である。開発 regression data は自動的に受入サンプルにならない。
本番データ実主体・活動を支え、実際の正本、権利及びライフサイクルを持つ。非本番へ複製しても「テストデータ」という名称でリスクは消えない。
合成データ人工的な出所を示し、テスト、学習又は分析に利用できる。適合性は目的、忠実性、リスク及び期待結果で決まる。
マスキング・匿名化データ識別可能・機微内容への処理を表し、用途ではない。テストでは追跡、網羅、アクセス、再識別評価及び生命周期管理が別途要る。
学習・検証・テストセット機械学習の開発・評価用途による区分である。企業システムのテストデータは規則、境界、権限、workflow、tool 動作及び人手流程も扱う。
テスト結果実出力、合否、差異及び証拠を記録する。テストデータは実行条件と参照であり、実行中生成データは別 ID を持たせる。
テストオラクルgolden data、規則、不変条件又は専門判断で期待・正しさを決める機構であり、入力データそのものではない。
Mock、Stub、Simulator依存動作を置き換える component である。返す応答はテストデータだが、component logic、protocol 及び実行環境は別に管理する。

出典と適用範囲

本項目はソフトウェア、システム及び企業 AI 案件のテストデータ、すなわち規定条件でテストを実行し、必要な状態を作り、入力を与え、実結果を判定するために選択、構成、変換又は生成するデータを説明する。テストケース、スクリプト、環境、本番データの複製、受入サンプル、学習データ、検証セット、AI 評価報告、テスト結果又は不具合記録そのものではない。テスト計画、設計技法、マスキング、合成データ、データ品質、プライバシー・セキュリティ方針、性能試験、AI レッドチーム又は分野別遵守全体は定義しない。利用可能なデータ、提供・確認者、本番由来データの可否、匿名化、リスク網羅、期待結果の判定及び保存期間は、案件の権限者が目的とリスクに応じて承認する。