あらゆる人工知能のモデルは、効果的に機能するために膨大な量のデータに依存しています。データセットが多様で包括的であればあるほど、AI はより的確に学習し、適応性を高め、パフォーマンスを向上させることができます。そのため、有用な AI モデルをトレーニングするには、大量の高品質データが必要です。こうしたデータを確保するうえでは、いくつかの課題があります。必要なデータを入手するのが難しい場合があるうえ、従来のデータ収集には多くの時間とコストがかかり、プライバシーやバイアスに関する問題が生じることもあります。このような問題に対処するため、AI を活用する企業では、インテリジェントシステムのトレーニングに使用する疑似データとして、合成データの活用が進んでいます。
合成データは現実のデータを模倣するように人工的に生成された情報です。リアルデータの使用に関連した多くの課題に対するソリューションを提供します。高度な生成 AI (GenAI) モデルを活用することで、合成データは、AI のトレーニングに伴う一般的なリスクを避けながら AI 開発を促進できる、柔軟で倫理的な代替手段となります。
詳しく見ていく前に、まず合成データとリアルデータの違いを簡単に確認しておきましょう。
- 合成データは、現実世界のデータと同じ統計的特性を持つよう人工的に生成されます。現実世界の情報に対応する実際のデータポイントは含まれていません。
- リアルデータは、現実世界で起きた出来事や個人、さまざまなやり取りから収集されます。そこには実際の情報が含まれており、中には機密性の高いものもあります。.
適切に生成された合成データを使用することで、企業は、リアルデータを外部にさらしたり、偏りのある情報や無関係な情報をトレーニングデータセットに含めたりするリスクを避けながら、十分なデータを使って AI をトレーニングするメリットを得ることができます。
模擬データの起源は 1940 年代にさかのぼります。当時、マンハッタン計画では、複雑で確率的な事象をモデル化するためにモンテカルロシミュレーションが広く用いられていました。この先駆的な研究によって、人工データを使って現実世界の状況を再現するという考え方の基礎が築かれました。1990 年代までに模擬データは統計分析やコンピューターグラフィックスで頻繁に用いられるようになり、航空宇宙工学や自動車工学でさまざまな仮想条件の下でシステムをテストするために応用されました。
2000 年代以降、より大規模で多様なデータセットに対する需要が高まるにつれ、リアルデータの限界が明らかになりました。研究者たちは、敵対的生成ネットワーク (GAN) や変分オートエンコーダー (VAE) などの生成モデルを活用し、リアルデータのサンプルから学習することで、実データに近い合成データを生成するようになりました。現在、合成データは、管理された環境で、規模を柔軟に拡張しながらリスクなく AI システムのトレーニングやテストを行うための重要な手段となっています。
合成データは、全面的に使用するか、まったく使用しないかの二者択一ではありません。組織は、トレーニングセットにどの程度の合成データを含めるかを選択できます。そのため、合成データの取り入れ方は、次の 3 つのカテゴリ (タイプ) に分けられます。
その名の通り、このタイプのデータセットではリアルデータを一切使用せず、完全にアルゴリズムに依存して現実の統計的特性を持つ合成データを生成します。完全合成データは、(実際の個人情報を含まないため) プライバシー保護が最も強力で、(公平で現実を反映したデータセットを作成できるようにすることで) バイアスに関連するリスクを排除するとともに、高い柔軟性を備えています。一方で、リアルデータに含まれる細かな特徴を十分に再現できない場合があり、実環境でのモデルのパフォーマンスに影響する可能性があります。
このアプローチでは、機密性の高い一部の属性のみを合成値に置き換え、リアルデータの一部を保持することで、プライバシーと安全性を確保しつつ、リアルデータの有用な特性も維持します。このアプローチにはまだ一定の情報漏洩リスクがあり、リアルデータに隠れたバイアスを完全に排除できない可能性があります。
ハイブリッドアプローチでは、無作為に選んだリアルデータのレコードと、それに類似する合成データのレコードを組み合わせます。これにより、両方のメリットを活かし、プライバシーを強化しながら、モデルを十分なデータでトレーニングできます。一方で、より多くの処理時間とメモリが必要になり、リアルデータと合成データを統合して管理する作業も複雑になる場合があります。
合成データは、拡張データと類似している点もありますが、次のような重要な違いがあります。
拡張データでは、既存のリアルデータセットを拡張します。この手法では、画像を回転させたり明るくしたりするなど、まったく新しいデータを作成することなく既存のデータセットを拡張できます。そのため、追加のリアルデータを収集せずに AI のトレーニングを改善するのに役立ちます。ただし、プライバシー上の懸念やデータのバイアスを十分に解消できるわけではなく、利用には依然として大量のリアルデータが必要です。
一方、匿名化データでは、プライバシーを保護するために、実際のデータセットから個人情報を削除したり難読化したりします。これにより、規制要件への対応やプライバシーリスクの軽減が可能になりますが、元のデータに内在するバイアスが残る可能性があり、機密情報を完全に除去できない場合もあります。
これらの手法とは異なり、合成データは、実際のデータポイントを使用せず、現実世界のデータの統計的特性を再現するよう、アルゴリズムによって完全に生成されます。これにより、より徹底したプライバシー保護が可能になるほか、特定のニーズに合わせた、多様でバイアスのないデータセットを作成できます。そのため、合成データは、現在利用できる AI トレーニング向けのソリューションの中でも、特に柔軟性が高く、倫理面にも配慮した選択肢となっています。
特定の実データに直接ひも付けることなく、リアルデータと同じ特性を持つデータを利用できることには、多くのメリットがあります。ビジネス上の主なメリットは次のとおりです。
合成データは、エラーがなく一貫性を保つように設計されています。合成データは、現実のデータに見られる不正確さや矛盾を排除することで、高品質な入力情報を確保し、より正確な AI モデルを実現できます。
合成データは、個人情報の漏洩に関連するリスクを排除します。プライバシー規制に準拠し、データ侵害のリスクを軽減します。
合成データは膨大な量を非常に迅速に生成できます。この拡張性により、組織では限られたデータで制約を受けることなく、モデルを継続的に洗練し改善していくことができます。
多くの場合、合成データの生成は、リアルデータを収集してラベル付けするよりも低費用で実行できます。これにより、厳しい予算の範囲内で AI を最適化したいと考えている組織にとって魅力的な選択肢となります。
合成データを作成して、現実世界のデータに固有のバイアスに対処し、それを軽減することができます。これにより、さまざまな人口統計集団やシナリオでより公平に機能する、より公正な AI システムの開発に貢献します。
合成データは特定のニーズに合わせてカスタマイズすることで、意図したアプリケーションに対して適切で正確なものにできます。カスタマイズにより、特定の AI モデルの要件に正確に合致するデータを作成できます。
ユーザーはデータ生成パラメーターを決定し、データセットが特定の要件を満たすようにすることが可能です。これにより、組織は自分たちの AI モデルのニーズに正確に適合するデータを作成して、より効果的でターゲットを絞ったソリューションを実現できます。
合成データにはあらかじめラベルが付与されているため、手作業によるアノテーションの必要性を減らせます。ラベル付けの自動化により、データの準備プロセスが迅速化し、人件費を削減できます。
合成データは、従来のデータ収集方法よりもはるかに迅速に生成できます。AI モデルの開発と導入を加速できるため、組織は十分にトレーニングした AI ソリューションをより早く実運用に投入できます。
合成データには、上記のメリットに加え、機械学習 (ML) モデルならではの利点もあります。機械学習は、ほかの多くの AI 手法以上に、大量のトレーニングデータを必要とします。合成データであれば、こうしたデータをより迅速かつ低コストで用意できます。
また、転移学習で ML モデルを事前トレーニングするためのデータリポジトリを構築する場合にも、合成データは特に有用です。転移学習では、あるタスクのトレーニングデータを、別の関連タスクに再利用します。新しい ML モデルは、ゼロからトレーニングする代わりに、転移学習で事前トレーニングしたうえで追加の合成データを取り入れることで、さらに調整を重ねながら効率よく学習を進めることができます。
合成データには多くのメリットがある一方で、いくつかの課題もあります。合成データを最大限に活用するには、次のような課題と、その対処方法を理解しておくことが重要です。
合成データに現実世界の状況を正確に反映させることが困難な場合があります。生成されたデータの信頼性が低いと、モデルのパフォーマンスが低下し、予測が不正確になる可能性があります。組織では、必ず高度な生成モデルを使用し、合成データを現実世界のデータセットに照らし合わせて継続的に検証して、信頼性を高める必要があります。
合成データは、組織や生成モデルが想定するデータの姿を再現したものであるため、まれな事象や外れ値を十分に捉えられないことがあります。一方、こうした外れ値は、特に不正検知などの分野では、有効なモデルをトレーニングするうえで極めて重要です。外れ値を明示的にモデル化して含める手法を導入することで、外れ値が合成データセットにも適切に反映されるようにすることができます。
高品質の合成データを生成するには、多大な専門知識、時間、労力が必要です。現実的なデータを生成するアルゴリズムを開発するには、深い理解と慎重な調整が必要であり、それにはリソースを大量に消費する可能性があります。組織によっては、そうした要件を満たすリソースがない場合があります。これに対処するには、データサイエンティストのトレーニングに投資したり、自動化ツールを使用してデータ生成プロセスを簡素化したりする必要があります。
リアルデータに慣れているステークホルダーから、合成データの利用に抵抗を示されることがあります。合成データが妥当で有用であることをユーザーに理解してもらうには、十分な説明と、そのメリットを明確に示すことが必要です。
合成データの品質と一貫性を維持することは不可欠です。定期的な監査やフィードバックループなどの徹底した品質保証プロセスを導入することで、データが必要な基準を満たしている状態を維持できます。
合成データはさまざまな形式で使用でき、それぞれが機械学習や AI 開発におけるさまざまなアプリケーションやニーズに対応します。以下に例を示します。
これには、AI チャットボット、言語モデル、翻訳アルゴリズムのトレーニングに使用する、合成されたテキストなどがあります。人工的な会話やドキュメントを作成することで、開発者が自然言語処理 (NLP) 機能を強化できます。
このタイプの合成データは、データ分析、財務モデリング、機械学習トレーニングに使用される合成データテーブルで構成されています。現実世界の表形式データセットの構造と統計的特性を再現しているので、予測モデリングとリスクアセスメントに有益です。
メディアデータには、コンピューターグラフィックスや画像処理のアルゴリズムを使用して作成された合成画像、合成音声、合成動画などがあります。コンピュータービジョン、画像認識、自律システムトレーニングなどのアプリケーションで広く使用されています。
非構造化データには、事前定義された形式に従わないテキスト、画像、動画、音声など、さまざまなデータタイプが含まれます。合成された非構造化データは、コンピュータービジョン、音声認識、自然言語理解など、一見ランダムなデータセットからパターンを見つける能力が求められる分野で、AI モデルをトレーニングする際に特に有用です。
合成データはすでに世界中の業界で採用されており、AI トレーニングのさまざまな課題に対するソリューションを提供しています。次に、合成データが最も大きな効果を生んでいるユースケースをいくつか紹介します。
合成データを使用することで、実際の患者情報の機密性を保護しながら、医療診断、研究、治療計画に使用する AI モデルのトレーニング用に大規模なデータセットを作成できます。
人工のデータセットを使用すると、個人のプライバシーを保護しながら、データ主導のインサイトを取得できます。これにより、組織がデータプライバシーに関する法律、規制、ポリシーを遵守しやすくなります。
銀行やその他の金融機関では、不正行為の検出、リスク管理、信用リスクモデルの開発に合成データを使用しています。
合成データを使用して自動運転車のシミュレーションとトレーニングを行い、実際のテストに伴うリスクなしに多様な運転シナリオを提供することで、安全性と効率性を高めています。
合成データでトレーニングしたモデルは、自然災害をシミュレートし、実際に発生する前からリスクを評価できるため、災害への備えや被害軽減策の策定に役立ちます。
ソフトウェア開発者は、合成データを使用して現実的なテストシナリオを作成できるため、実際の本番データに依存せずにアプリケーションをテストして改善できます。
さまざまな小売業者が合成データを活用して、在庫管理の最適化、顧客行動の分析、マーケティング戦略のパーソナライズによるターゲティングの改善に取り組んでいます。合成データは、推奨システムの改善や販売動向の予測にも役立ちます。
作物の成長パターン、天候の影響、害虫の蔓延をシミュレーションして精密農業を支援し、収穫高と資源管理を改善しています。コンピュータービジョンで合成データを活用することで、AI がさまざまな種類の植物や種子を識別する能力を高め、成長モデルの構築や作物の病気の検出に役立てることができます。
合成データは、生産プロセスのシミュレーション、オペレーションの最適化、設備のメンテナンス時期の予測に利用され、製造業の効率向上とダウンタイム削減に役立ちます。
合成データを生成するプロセスは、使用するツールやアルゴリズムおよび対象とする個別のユースケースによって異なります。合成データの生成に使用される一般的な 3 つの手法を紹介します。
この方法では、ガウス分布や一様分布など、事前定義された分布からランダムに数値を選択します。通常、この方法では現実世界のデータと同程度の複雑さまでは再現できませんが、類似した統計的特性を持つデータを生成する基本的な手法として、初期段階のモデルテストや簡単なシミュレーションに役立ちます。
この手法では、人、携帯電話、コンピュータープログラムなど、システム内の自律的なエージェント間のやり取りをシミュレートします。各エージェントは事前定義されたルールに基づいて振る舞い、他のエージェントともやり取りするため、研究者は複雑なシステムや行動を研究できます。
拡散モデルなどの高度なアルゴリズムは、実世界のデータセットの統計的特性を学習することで合成データを生成します。これらのモデルは、実データからパターンや関係性を学習することで、新たな類似データを生成できるようになります。拡散モデルは、高品質で実データに近い合成データセットの生成に優れており、AI モデルのトレーニングやテストに役立ちます。
AI のトレーニングに使うデータは、必ずしもリアルデータが最適とは限りません。合成データは、実際のデータポイントの機密性の高い詳細を含めずにその特性を再現しながら、スケーラビリティ、データ品質、バイアスの軽減、費用対効果を向上させます。そのため、高度な AI 機能を活用しようとしている組織にとって、非常に貴重な資産となります。
ServiceNow は、AI ソリューションをビジネスニーズに適用する最前線に立ち、強力な ServiceNow AI Platform を通じて包括的な AI 機能のスイートを提供しています。ServiceNow は、機械学習フレームワーク、自然言語処理、予測分析など、最新の AI テクノロジーを取り入れ、組織がビジネスによりインテリジェントで自律的なアプローチを採用できるよう支援します。また、ServiceNow Ottoを通じて提供される ServiceNow の包括的な生成 AI 機能を活用すれば、AI システムを支えるデータを作成するために必要な機能がすべて揃います。詳細については今すぐ ServiceNow のデモをご覧ください。
