Workflow Data Fabric:企業データの接続、コンテキスト化、制御

[JunshuO]

ServiceNow Workflow Data Fabric について知っておくべきこと

ServiceNow Workflow Data Fabric (WDF) は、プラットフォームの統合データ基盤機能です。システム間で企業データに接続し、メタデータを使用してコンテキスト化して、ワークフロー、分析、AI エージェントで利用できるようにします。ETL パイプラインやスケジュールされた同期を介してデータを ServiceNow にコピーする代わりに、WDF は必要なときに外部システムに直接アクセスし、リアルタイムでデータを取得します。

このシリーズでは、Karteek KVLN と Sujan Dutta が、エンタープライズデータを適切な方法でプラットフォームに取り込むのに役立つ各 Workflow Data Fabric のコンセプトを詳しく説明します。

目次

• エピソード 1:Workflow Data Fabric の概要
• エピソード 2: ゼロコピーコネクタ
• エピソード 3: ファブリックテーブル
• エピソード 4:ナレッジグラフ
• よく寄せられる質問

エピソード 1:Workflow Data Fabric の概要

問題:企業データの分散

AI エージェントは、エンタープライズデータにアクセスできる場合にのみ有効です。ServiceNow 内のエージェント単独では、プラットフォーム上に既に存在するデータのみを操作できます。これは、データが数十のシステムに分散している企業にとって大きな制限です。調達データはアプリケーション 1 にあります。分析データはアプリケーション 2 にあります。顧客レコードはアプリケーション 3 にあります。このリストは、組織が採用するアプリケーションごとに増え続けています。

従来、外部データをワークフローに取り込むには、ETL ジョブを構築し、カスタム統合を作成し、スケジュールに従ってデータを同期する必要がありました。同期するたびに遅延が発生します。カスタム統合はメンテナンスのオーバーヘッドを増大させます。そして、これらすべての後、データが古くなっている可能性が高く、ガバナンスの懸念が生じます。

ソリューション: 統一されたデータ基盤

ワークフローデータファブリック はそのモデルを反転します。ServiceNow は、データをプラットフォームに取り込む代わりに、必要なときに直接アクセスし、リアルタイムで取得します。バッチパイプラインはありません。スケジュールされた同期はありません。古くなっているコピーはありません。

WDF は ServiceNow の統合データ基盤であり、システム間でエンタープライズデータに接続し、メタデータと安定した契約でコンテキスト化し、ワークフロー、分析、エージェントが利用できるようにするプラットフォームです。

WDF は、 コネクト 、 コンテキスト化 、および コントロール の 3 つの柱で構成されています。

3つの柱

1. コネクト

最初の仕事は、データが存在する場所へのリンクを確立することです。WDF には、次の 3 つの主要なメカニズムが用意されています。

• ゼロコピーコネクタ: SAP S/4HANA、Snowflake、Databricks、BigQuery、Redshift などの外部データソースに、データをコピーしたり移動したりすることなくリアルタイムでアクセスできます。データはそのまま残ります。ServiceNow はそれをリアルタイムでクエリします。
• Integration Hub (統合ハブ): 一般的なエンタープライズアプリケーションをカバーする 200 以上の組み込みスポークを備えたローコード統合プラットフォームです。各スポークには、ターゲットシステム用のすぐに使用できるアクション、フロー、サブフローが付属しています。標準機能でカバーされていないものについては、スポークジェネレーターが OpenAPI 仕様から新しいスポークをビルドします。
• ストリームコネクト: Apache Kafka を介したイベントストリーミング接続。ダイレクト Kafka モードでは、ServiceNow をネイティブクライアントとして顧客の Kafka クラスターに接続し、中間レイヤーを必要とせずにメッセージを生成および消費します。

2. コンテキスト化

生データの接続は仕事の半分です。残りの半分はそれを理解できるようにすることです。WDF は、接続されたシステム間でのデータ資産間の関係をマッピングするナレッジグラフと、すべての資産にビジネス上の意味を与えるデータカタログを提供します。このメタデータレイヤーは、生の接続をエージェントとワークフローが関連付けることができるものに変換し、データが何を表し、他のすべてとどのように関連しているかを理解します。

3. コントロール

データを管理せずにデータを接続してコンテキスト化すると、リスクが生まれます。コントロールレイヤーは、接続されているすべてのソースにわたるガバナンス、リネージ追跡、およびアクセスポリシーを処理します。すべてのデータがどこから来たのか、誰がアクセスできるのか、どのポリシーが適用されるのかがわかります。データは同時に管理されます。

↑ 目次に戻る

エピソード 2: ゼロコピーコネクタ

問題: すべてのコピーが経年劣化し始める

従来の統合は、おなじみの形をたどります。あなたはジョブを書きます。ソースシステムから ServiceNow にデータをプルします。データはテーブルに格納されます。それ以降は、データのコピーで作業することになります。

そのコピーは着地した瞬間から古くなり始めます。これは、現在所有しているセキュリティサーフェスでもあり、チェーン内のもう 1 つの障害点です。統合するすべてのシステムにそれを掛け合わせると、過去のある時点で真実だった多くのデータを維持することになります。

解決策:ゼロコピーコネクタ

ゼロコピーはWorkflow Data Fabricの下にあるエンジンであり、方程式からコピーを取り除きます。

コンシューマーがデータファブリックテーブルをクエリすると、そのコンシューマーが AI エージェント、ワークフロー、スクリプトのいずれであっても、ゼロコピーコネクタはクエリを解釈し、ターゲットシステムのネイティブ SQL に変換します。その SQL はデータソースに直接送られます。ソースがそれを実行します。結果は発信者に直接返されます。

データはパイプを通る水のように ServiceNow を通過します。それは決してどこにも座りません。保存されることはありません。

プッシュダウン実行

大規模なデータセットの場合、大量のコンピューティングはすべてデータソースで行われます。フィルタリング、結合、集計といった作業は、ServiceNow ではなく、データが存在する場所で実行されます。

これはプッシュダウン実行と呼ばれ、Zero Copyが何百万ものレコードに対しても容易に拡張できる理由です。ServiceNow がクエリを送信し、結果セットを受信します。ソースシステムは、まさにこの種の作業のためにすでに構築され、調整されており、負荷の高い作業を処理します。

メリットは何ですか

では、データのコピーを一度も保存しないことの利点は何でしょうか。

• データは常に最新の状態です。 すべてのクエリーは、その時点でのソースの状態を返します。考慮すべき同期ウィンドウはありません。
• セキュリティ境界は元のままです。 データはソースシステムから離れることはないため、そのシステムのアクセス制御とポリシーによって引き続きデータが管理されます。
• メンテナンスする ETL ジョブはありません。 同期が失敗した場合の午前 2 時にスケジュール、監視、またはデバッグするものは何もありません。
• 大きなデータセットは高速に保たれます。 プッシュダウン実行では計算がソースに保持されるため、レコードボリュームは ServiceNow の問題ではなくなります。

↑ 目次に戻る

次のエピソードでは、WDF のファブリックテーブルの概念を理解します。

エピソード 3: ファブリックテーブル

問題: データが保存されていない状況でのアクセス

ゼロコピーはデータを保存するのではなく、ソースでクエリを実行するため、当然の疑問が生じます。行が ServiceNow にない場合、プラットフォーム上の何かは実際にどのように機能しますか?ほとんどのビルドシステムでは、スクリプト、フロー、API、エージェントなど、プロセスによってクエリできるテーブルがあることを前提としています。しかし、ここではそうではありません。

解決策:ファブリックテーブル

ファブリックテーブルは、外部データオブジェクトの ServiceNow 上での投影です。簡単に言うと、これはプラットフォーム上の仮想テーブルであり、データは保持せずにスキーマとマッピングを保持します。

外観と動作は他の ServiceNow テーブルとまったく同じですが、物理的に格納される行はゼロです。

構築方法

データスチュワードは、ゼロコピーコネクタを介してファブリックテーブルを設定します。コネクタは、反対側にあるスキーマをスキャンするメタデータコレクターを介して外部システムに到達します。そこから、外部列が ServiceNow フィールドタイプにマッピングされ、プライマリキーが設定され、テーブルに名前が付けられます。

クエリーするとどうなるか

テーブルが存在すると、他のすべてとともにテーブルエクスプローラーに表示されます。これに対して GlideRecord クエリを記述できます。REST テーブル API から呼び出すことができます。フローにフィードしてエージェントに渡すことができます。目的に合わせて利用できます。

違いはその下にあります。これらのクエリのいずれかが実行されると、ゼロコピーエンジンが起動し、要求を変換し、ソースシステムにヒットして、要求されたものに結果を返します。それが完了すると、ファブリックテーブルは行がゼロのままになります。

メリットは何ですか

では、何も保持しないテーブルを照会する利点は何でしょうか。

• 再学習するものはありません: GlideRecord、REST テーブル API、フロー、エージェントは、外部データの性質に関係なく、同じデータアクセスパターンを利用します。
• 書き換えるものはありません: 既存のスクリプトまたはフローは、ローカルテーブルを指すのと同じようにファブリックテーブルを指すことができます。
• ストレージフットプリントなし: このテーブルには、スキーマと列マッピングが保持されます。行は、既に所有しているシステムに残ります。
• ソースは信頼できるままです。 すべての読み取りは所有システムに戻るため、後で調整するための真実の 2 番目のバージョンはありません。

↑ 目次に戻る

次のエピソードでは、WDF におけるナレッジグラフの概念を理解します。

エピソード 4:ナレッジグラフ

問題: データの関連性の不明瞭さ

最初の柱はすべてをつなぎ合わせました。ゼロコピーはソースに到達し、ファブリックテーブルはクエリするデータを提供しますが、古いデータはありません。その時点であなたが持っているのは、まだ別々の事実の山です。ベンダーレコードは 1 つのテーブルに、発注書は別のテーブルに、契約とコストセンターは別の場所に配置され、各行はそれ自体で完全に正確であり、残りの行との関連性についてはまったく語りません。

ここで、接続したデータのコンテキスト化という 2 番目の柱の出番です。

ソリューション:ナレッジグラフ

ナレッジグラフは、これらのつながりが書き留められる場所です。これは、WDF を使用して取り込んだすべてのデータの関係のマップです。これは、各データポイント間の関係性を明確にするのに役立ちます。

ここではセマンティックがキーワードです。プラットフォームは、データが何を意味するのか、そしてそれが周囲のすべてにどのようにつながっているのかを理解しています。

オントロジー、分類、メタデータ

ナレッジグラフを機能させるのは 3 つの要素です。オントロジーはどのような種類のものが存在するかを定義するため、プラットフォームはさまざまなタイプのデータ エンティティを認識します。分類では、これらのタイプが階層に整理され、ドメイン内に配置されます。メタデータは、それぞれのプロパティを意味のあるものにするプロパティを記述します。

この3つを合わせると、データベースというよりも推論エンジンに近いものができあがります。クエリーするのではなく、トラバースします。

WDF でのグラフの構築方法

ファブリックテーブルが最初に来ます。そこから、ベンダー製品、発注書製品、契約製品などのデータ製品にラップし、それらをデータカタログに公開します。公開されると、Workflow Data Fabric はそれらの間のセマンティック接続を描画します。

これらの接続には、ベンダーが発注書を提供し、契約がベンダーを管理し、コストセンターが運用に資金を提供するという、タイプと方向性があります。発注書には品目が記載されており、品目は品目を指します。これらはどれもどこかで書いたコードではなく、プラットフォームが独自に保持し、理解することを意味します。

メリットは何ですか

では、レコードと一緒に関係をマッピングするメリットは何でしょうか。

• AI エージェントは、データ全体を推論できます。 接続を追跡すると、エージェントは、単一のレコードをプルしてそこで停止するのではなく、複数のテーブルにまたがるクエリに回答できます。
• その意味はプラットフォームにあります。 関係はスクリプトにハードコードされるのではなく、セマンティクスとして保持されるため、基礎となるデータが変更されてもその有効性が保たれます。
• コンテキストはデータとともに移動します。 カタログに公開されたデータ製品は、その関係をもたらすため、それを使用するものが何であれ、全体像を把握できます。
• すでに接続したものに基づいて構築されます。 グラフは既存のファブリックテーブル上にあるため、コピーや再構築は必要ありません。

↑ 目次に戻る

よく寄せられる質問

ServiceNow Workflow Data Fabric とは何ですか？

ServiceNow の統合データ基盤。システム間でエンタープライズデータに接続し、メタデータを使用してコンテキスト化して、Now Platform 上のワークフロー、分析、AI エージェントが利用できるようにします。ServiceNow はデータをコピーする代わりに、直接リアルタイムでデータにアクセスし、クエリを実行します。

Workflow Data Fabric はどのような問題を解決しますか？

エンタープライズデータの断片化。ほとんどの組織では、重要なデータが数十のシステムに分散しています。従来のアプローチでは、ETL パイプライン、カスタム統合、古いコピーを生成するスケジュールされた同期が必要です。WDF は、データが既に存在するライブデータに接続することで、そのオーバーヘッドを排除します。

Workflow Data Fabric の 3 つの柱とは何ですか？

接続、コンテキスト化、および制御。コネクトは、ゼロコピーコネクタ、統合ハブ、およびストリームコネクトを介して外部データへのライブリンクを確立します。Contextualize は、データ資産にビジネス上の意味を与え、それらの関係をマッピングするナレッジグラフとデータカタログを追加します。コントロールは、接続の瞬間に接続されたすべてのソースにガバナンス、リネージ追跡、およびアクセスポリシーを適用します。

Workflow Data Fabric は従来の ETL とどのように異なりますか？

ETL (抽出、変換、ロード) は、ソースシステムからデータを取り出して変換し、スケジュールに従って宛先にロードします。すべての同期は、着地した瞬間に古くなり始めるスナップショットです。WDF は抽出とロードを完全にスキップします。ServiceNow はデータにライブで接続し、オンデマンドでクエリを実行するため、ワークフローとエージェントは常に現在のステータスを確認できます。個別に維持または管理するコピーはありません。

ストリームコネクトとは何ですか？

Apache Kafka 用の WDF のイベントストリーミングコネクタ。ダイレクト Kafka モードでは、ServiceNow をネイティブクライアントとして顧客の Kafka クラスターに直接接続し、トピックに関するメッセージを生成および消費します。中間メッセージングレイヤーが不要なため、顧客のストリーミングチームがクラスターを完全に制御できます。

Workflow Data Fabric における「contextualize (コンテキスト化)」とはどういう意味ですか？

生の接続によりデータにアクセスできますが、エージェントとワークフローはそのデータの意味も理解する必要があります。WDF のコンテキスト化レイヤーは、データ資産と、各資産にビジネス上の意味を関連付けるデータカタログとの関係をマッピングするナレッジグラフを提供します。これにより、エージェントは取得するデータを推論するためのコンテキストを得ることができます。

Workflow Data Fabric は AI エージェントとどのように関連していますか？

AI エージェントの効果は、アクセスできるデータによって決まります。WDF は、エンタープライズデータがどこにあるかにかかわらず、Now Platform 上のエージェントが利用できるようにするレイヤーです。ゼロコピーコネクタはリアルタイムアクセスを提供します。ナレッジグラフは、データの意味に関するコンテキストをエージェントに提供します。ガバナンスレイヤーにより、エージェントは表示が許可されているデータにのみアクセスできます。WDF は、エンタープライズ AI エージェントの下にあるデータインフラストラクチャです。

ゼロコピーコネクタとは何ですか？

ゼロコピーは、Workflow Data Fabric の下にあるエンジンです。ワークフロー、AI エージェント、またはスクリプトがデータファブリックテーブルにクエリを実行すると、コネクタはそのクエリを解釈し、ターゲットシステムのネイティブ SQL に変換して、ソースに直接送信します。ソースがクエリを実行し、結果が発信者に返されます。データは ServiceNow 内を移動しますが、そこには保存されません。

ゼロコピーは ServiceNow にデータを保存していますか？

いいえ、データはパイプを通る水のようにプラットフォームを通過します。テーブルに何も入らず、クエリが完了すると何も保持されません。

プッシュダウン実行とは何ですか？

プッシュダウン実行とは、クエリ作業が ServiceNow ではなくデータソースで実行されることを意味します。フィルタリング、結合、集計はすべて、この種の処理用にビルドおよび調整されているソースシステム内で行われます。ServiceNow がクエリを送信し、結果セットを受信します。これにより、Zero Copyは、レコード量に関わらず何百万ものレコードを処理でき、プラットフォームの負荷となることがありません。

ゼロコピークエリが返すデータはどの程度新鮮ですか？

これは、クエリの実行時点のソースのステータスを反映します。同期スケジュールや更新ウィンドウがないため、データが古くなる期間はありません。

ゼロコピーはセキュリティモデルを変更しますか？

いいえ、データがソースシステムから離れることはないため、既にデータを管理しているアクセス制御とポリシーが引き続き適用されます。独自のセキュリティ体制を必要とする 2 番目のコピーを作成することを回避できます。ソースは、そのデータが保護される唯一の場所のままとなります。

ファブリックテーブルとは何ですか？

外部データオブジェクトの ServiceNow 上での投影です。これは、プラットフォーム上の他のテーブルと同じように外観と動作をする仮想テーブルであり、物理的に行を 0 行も格納します。スキーマと列のマッピングは ServiceNow に保持されます。

ファブリックテーブルには行が格納されていますか？

いいえ、クエリーの前、クエリー中、およびクエリーの完了後に保持される行数はゼロです。結果セットに表示される行はソースから読み取られ、テーブルに到達せずに呼び出し元に渡されました。

データスチュワードはどのようにしてファブリックテーブルを作成しますか？

ゼロコピーコネクタを介して。コネクターは、メタデータコレクターを使用して外部システムに到達し、その側のスキーマをスキャンします。次に、スチュワードは外部列を ServiceNow フィールドタイプにマッピングし、プライマリキーを設定し、テーブルに名前を付けます。

通常の ServiceNow テーブルと同じ方法でファブリックテーブルをクエリできますか？

はい。これはテーブルエクスプローラーに表示され、GlideRecord クエリを受け入れ、REST テーブル API から呼び出すことができます。ワークフローと AI エージェントは、他のテーブルと同じ方法でこのデータを消費するため、既存のアクセスパターンは引き続き機能します。

クエリがファブリックテーブルに対して実行されるとどうなりますか？

ゼロコピーエンジンは要求を解釈し、ターゲットシステム用に変換してソースに送信し、結果を呼び出し元に返します。テーブル自体は変更されず、クエリが終了すると空のままになります。

Workflow Data Fabric のナレッジグラフとは何ですか？

接続したレコード間の関係のマップ。データがどのように関連しているかが記録されるため、プラットフォームは、各テーブルを孤立したファクトのセットとして扱うのではなく、発注書がベンダーに属していること、および契約によってそのベンダーを管理することを認識できます。

この文脈でのセマンティックとはどういう意味ですか？

これは、プラットフォームが単に値を保持するだけでなく、データが何を表し、周囲のすべてにどのように接続しているかを理解していることを意味します。この理解により、エージェントはデータをトラバースし、推論することができます。

オントロジー、タクソノミー、メタデータの違いは何ですか？

オントロジーは、ベンダーと契約が異なるタイプのエンティティであるなど、どのような種類のものが存在するかを定義します。分類では、これらのタイプがドメイン内の階層に整理されます。メタデータは、それぞれのプロパティを意味のあるものにするプロパティを記述します。グラフがプラットフォームが理解できる関係を保持するには、3 つすべてが必要です。

データ製品とデータカタログとは何ですか？

ファブリックテーブルは、ベンダー製品や発注書製品などのデータ製品にラップされ、それらの製品はデータカタログに公開されます。公開することで、Workflow Data Fabric はそれらの間のセマンティックな接続を描画できます。

型付き指向エッジとは何ですか？

グラフ内の接続には、タイプと方向の両方があります。ベンダーは発注書を発行し、契約はベンダーを管理し、コストセンターは運用に資金を提供します。方向と意味は関係の一部であるため、プラットフォームは関連付けがどの方向に実行されるかを認識します。

AI エージェントにとってナレッジグラフが重要なのはなぜですか？

ナレッジグラフがなければ、エージェントは一度に 1 ページずつ読み取ります。レコードを取得することはできますが、そのレコードが何に接続されているかを知る方法はありません。グラフを配置すると、エージェントはデータ全体の接続を追跡し、見つかったものを推論できます。

↑ 目次に戻る

---

この記事は機械翻訳されております。最新は元となる記事をご覧ください: https://www.servicenow.com/community/developer-advocate-blog/workflow-data-fabric-connect-contextual...。

免責事項: 一部の日本語は、翻訳ソフトウェアを使用してお客様の便宜のために翻訳されています。正確な翻訳をご提供できるよう相当な努力を払っておりますが、いかなる自動翻訳も人間の翻訳者に代わすることはなく、そのようなことは意図されておりません。翻訳は「現状のまま」提供されています。他言語への翻訳の的確性、信頼性または正確性については、明示または黙示を問わず、いかなる保証も行われません。翻訳ソフトには限界があるため、一部のコンテンツが正確に翻訳されていない場合があります。これらの資料の公用言語は英語です。翻訳の際に生じる相違または不一致は、コンプライアンスまたは履行の目的に関しては拘束力を有さず、法的効力はないものとします。

This article was machine translated and replicated from the original source: https://www.servicenow.com/community/developer-advocate-blog/workflow-data-fabric-connect-contextual...。

[JunshuO]

ServiceNow Workflow Data Fabric について知っておくべきこと

ServiceNow Workflow Data Fabric (WDF) は、プラットフォームの統合データ基盤機能です。システム間で企業データに接続し、メタデータを使用してコンテキスト化して、ワークフロー、分析、AI エージェントで利用できるようにします。ETL パイプラインやスケジュールされた同期を介してデータを ServiceNow にコピーする代わりに、WDF は必要なときに外部システムに直接アクセスし、リアルタイムでデータを取得します。

このシリーズでは、Karteek KVLN と Sujan Dutta が、エンタープライズデータを適切な方法でプラットフォームに取り込むのに役立つ各 Workflow Data Fabric のコンセプトを詳しく説明します。

目次

• エピソード 1:Workflow Data Fabric の概要
• エピソード 2: ゼロコピーコネクタ
• エピソード 3: ファブリックテーブル
• エピソード 4:ナレッジグラフ
• よく寄せられる質問

エピソード 1:Workflow Data Fabric の概要

問題:企業データの分散

AI エージェントは、エンタープライズデータにアクセスできる場合にのみ有効です。ServiceNow 内のエージェント単独では、プラットフォーム上に既に存在するデータのみを操作できます。これは、データが数十のシステムに分散している企業にとって大きな制限です。調達データはアプリケーション 1 にあります。分析データはアプリケーション 2 にあります。顧客レコードはアプリケーション 3 にあります。このリストは、組織が採用するアプリケーションごとに増え続けています。

従来、外部データをワークフローに取り込むには、ETL ジョブを構築し、カスタム統合を作成し、スケジュールに従ってデータを同期する必要がありました。同期するたびに遅延が発生します。カスタム統合はメンテナンスのオーバーヘッドを増大させます。そして、これらすべての後、データが古くなっている可能性が高く、ガバナンスの懸念が生じます。

ソリューション: 統一されたデータ基盤

ワークフローデータファブリック はそのモデルを反転します。ServiceNow は、データをプラットフォームに取り込む代わりに、必要なときに直接アクセスし、リアルタイムで取得します。バッチパイプラインはありません。スケジュールされた同期はありません。古くなっているコピーはありません。

WDF は ServiceNow の統合データ基盤であり、システム間でエンタープライズデータに接続し、メタデータと安定した契約でコンテキスト化し、ワークフロー、分析、エージェントが利用できるようにするプラットフォームです。

WDF は、 コネクト 、 コンテキスト化 、および コントロール の 3 つの柱で構成されています。

3つの柱

1. コネクト

最初の仕事は、データが存在する場所へのリンクを確立することです。WDF には、次の 3 つの主要なメカニズムが用意されています。

• ゼロコピーコネクタ: SAP S/4HANA、Snowflake、Databricks、BigQuery、Redshift などの外部データソースに、データをコピーしたり移動したりすることなくリアルタイムでアクセスできます。データはそのまま残ります。ServiceNow はそれをリアルタイムでクエリします。
• Integration Hub (統合ハブ): 一般的なエンタープライズアプリケーションをカバーする 200 以上の組み込みスポークを備えたローコード統合プラットフォームです。各スポークには、ターゲットシステム用のすぐに使用できるアクション、フロー、サブフローが付属しています。標準機能でカバーされていないものについては、スポークジェネレーターが OpenAPI 仕様から新しいスポークをビルドします。
• ストリームコネクト: Apache Kafka を介したイベントストリーミング接続。ダイレクト Kafka モードでは、ServiceNow をネイティブクライアントとして顧客の Kafka クラスターに接続し、中間レイヤーを必要とせずにメッセージを生成および消費します。

2. コンテキスト化

生データの接続は仕事の半分です。残りの半分はそれを理解できるようにすることです。WDF は、接続されたシステム間でのデータ資産間の関係をマッピングするナレッジグラフと、すべての資産にビジネス上の意味を与えるデータカタログを提供します。このメタデータレイヤーは、生の接続をエージェントとワークフローが関連付けることができるものに変換し、データが何を表し、他のすべてとどのように関連しているかを理解します。

3. コントロール

データを管理せずにデータを接続してコンテキスト化すると、リスクが生まれます。コントロールレイヤーは、接続されているすべてのソースにわたるガバナンス、リネージ追跡、およびアクセスポリシーを処理します。すべてのデータがどこから来たのか、誰がアクセスできるのか、どのポリシーが適用されるのかがわかります。データは同時に管理されます。

↑ 目次に戻る

エピソード 2: ゼロコピーコネクタ

問題: すべてのコピーが経年劣化し始める

従来の統合は、おなじみの形をたどります。あなたはジョブを書きます。ソースシステムから ServiceNow にデータをプルします。データはテーブルに格納されます。それ以降は、データのコピーで作業することになります。

そのコピーは着地した瞬間から古くなり始めます。これは、現在所有しているセキュリティサーフェスでもあり、チェーン内のもう 1 つの障害点です。統合するすべてのシステムにそれを掛け合わせると、過去のある時点で真実だった多くのデータを維持することになります。

解決策:ゼロコピーコネクタ

ゼロコピーはWorkflow Data Fabricの下にあるエンジンであり、方程式からコピーを取り除きます。

コンシューマーがデータファブリックテーブルをクエリすると、そのコンシューマーが AI エージェント、ワークフロー、スクリプトのいずれであっても、ゼロコピーコネクタはクエリを解釈し、ターゲットシステムのネイティブ SQL に変換します。その SQL はデータソースに直接送られます。ソースがそれを実行します。結果は発信者に直接返されます。

データはパイプを通る水のように ServiceNow を通過します。それは決してどこにも座りません。保存されることはありません。

プッシュダウン実行

大規模なデータセットの場合、大量のコンピューティングはすべてデータソースで行われます。フィルタリング、結合、集計といった作業は、ServiceNow ではなく、データが存在する場所で実行されます。

これはプッシュダウン実行と呼ばれ、Zero Copyが何百万ものレコードに対しても容易に拡張できる理由です。ServiceNow がクエリを送信し、結果セットを受信します。ソースシステムは、まさにこの種の作業のためにすでに構築され、調整されており、負荷の高い作業を処理します。

メリットは何ですか

では、データのコピーを一度も保存しないことの利点は何でしょうか。

• データは常に最新の状態です。 すべてのクエリーは、その時点でのソースの状態を返します。考慮すべき同期ウィンドウはありません。
• セキュリティ境界は元のままです。 データはソースシステムから離れることはないため、そのシステムのアクセス制御とポリシーによって引き続きデータが管理されます。
• メンテナンスする ETL ジョブはありません。 同期が失敗した場合の午前 2 時にスケジュール、監視、またはデバッグするものは何もありません。
• 大きなデータセットは高速に保たれます。 プッシュダウン実行では計算がソースに保持されるため、レコードボリュームは ServiceNow の問題ではなくなります。

↑ 目次に戻る

次のエピソードでは、WDF のファブリックテーブルの概念を理解します。

エピソード 3: ファブリックテーブル

問題: データが保存されていない状況でのアクセス

ゼロコピーはデータを保存するのではなく、ソースでクエリを実行するため、当然の疑問が生じます。行が ServiceNow にない場合、プラットフォーム上の何かは実際にどのように機能しますか?ほとんどのビルドシステムでは、スクリプト、フロー、API、エージェントなど、プロセスによってクエリできるテーブルがあることを前提としています。しかし、ここではそうではありません。

解決策:ファブリックテーブル

ファブリックテーブルは、外部データオブジェクトの ServiceNow 上での投影です。簡単に言うと、これはプラットフォーム上の仮想テーブルであり、データは保持せずにスキーマとマッピングを保持します。

外観と動作は他の ServiceNow テーブルとまったく同じですが、物理的に格納される行はゼロです。

構築方法

データスチュワードは、ゼロコピーコネクタを介してファブリックテーブルを設定します。コネクタは、反対側にあるスキーマをスキャンするメタデータコレクターを介して外部システムに到達します。そこから、外部列が ServiceNow フィールドタイプにマッピングされ、プライマリキーが設定され、テーブルに名前が付けられます。

クエリーするとどうなるか

テーブルが存在すると、他のすべてとともにテーブルエクスプローラーに表示されます。これに対して GlideRecord クエリを記述できます。REST テーブル API から呼び出すことができます。フローにフィードしてエージェントに渡すことができます。目的に合わせて利用できます。

違いはその下にあります。これらのクエリのいずれかが実行されると、ゼロコピーエンジンが起動し、要求を変換し、ソースシステムにヒットして、要求されたものに結果を返します。それが完了すると、ファブリックテーブルは行がゼロのままになります。

メリットは何ですか

では、何も保持しないテーブルを照会する利点は何でしょうか。

• 再学習するものはありません: GlideRecord、REST テーブル API、フロー、エージェントは、外部データの性質に関係なく、同じデータアクセスパターンを利用します。
• 書き換えるものはありません: 既存のスクリプトまたはフローは、ローカルテーブルを指すのと同じようにファブリックテーブルを指すことができます。
• ストレージフットプリントなし: このテーブルには、スキーマと列マッピングが保持されます。行は、既に所有しているシステムに残ります。
• ソースは信頼できるままです。 すべての読み取りは所有システムに戻るため、後で調整するための真実の 2 番目のバージョンはありません。

↑ 目次に戻る

次のエピソードでは、WDF におけるナレッジグラフの概念を理解します。

エピソード 4:ナレッジグラフ

問題: データの関連性の不明瞭さ

最初の柱はすべてをつなぎ合わせました。ゼロコピーはソースに到達し、ファブリックテーブルはクエリするデータを提供しますが、古いデータはありません。その時点であなたが持っているのは、まだ別々の事実の山です。ベンダーレコードは 1 つのテーブルに、発注書は別のテーブルに、契約とコストセンターは別の場所に配置され、各行はそれ自体で完全に正確であり、残りの行との関連性についてはまったく語りません。

ここで、接続したデータのコンテキスト化という 2 番目の柱の出番です。

ソリューション:ナレッジグラフ

ナレッジグラフは、これらのつながりが書き留められる場所です。これは、WDF を使用して取り込んだすべてのデータの関係のマップです。これは、各データポイント間の関係性を明確にするのに役立ちます。

ここではセマンティックがキーワードです。プラットフォームは、データが何を意味するのか、そしてそれが周囲のすべてにどのようにつながっているのかを理解しています。

オントロジー、分類、メタデータ

ナレッジグラフを機能させるのは 3 つの要素です。オントロジーはどのような種類のものが存在するかを定義するため、プラットフォームはさまざまなタイプのデータ エンティティを認識します。分類では、これらのタイプが階層に整理され、ドメイン内に配置されます。メタデータは、それぞれのプロパティを意味のあるものにするプロパティを記述します。

この3つを合わせると、データベースというよりも推論エンジンに近いものができあがります。クエリーするのではなく、トラバースします。

WDF でのグラフの構築方法

ファブリックテーブルが最初に来ます。そこから、ベンダー製品、発注書製品、契約製品などのデータ製品にラップし、それらをデータカタログに公開します。公開されると、Workflow Data Fabric はそれらの間のセマンティック接続を描画します。

これらの接続には、ベンダーが発注書を提供し、契約がベンダーを管理し、コストセンターが運用に資金を提供するという、タイプと方向性があります。発注書には品目が記載されており、品目は品目を指します。これらはどれもどこかで書いたコードではなく、プラットフォームが独自に保持し、理解することを意味します。

メリットは何ですか

では、レコードと一緒に関係をマッピングするメリットは何でしょうか。

• AI エージェントは、データ全体を推論できます。 接続を追跡すると、エージェントは、単一のレコードをプルしてそこで停止するのではなく、複数のテーブルにまたがるクエリに回答できます。
• その意味はプラットフォームにあります。 関係はスクリプトにハードコードされるのではなく、セマンティクスとして保持されるため、基礎となるデータが変更されてもその有効性が保たれます。
• コンテキストはデータとともに移動します。 カタログに公開されたデータ製品は、その関係をもたらすため、それを使用するものが何であれ、全体像を把握できます。
• すでに接続したものに基づいて構築されます。 グラフは既存のファブリックテーブル上にあるため、コピーや再構築は必要ありません。

↑ 目次に戻る

よく寄せられる質問

ServiceNow Workflow Data Fabric とは何ですか？

ServiceNow の統合データ基盤。システム間でエンタープライズデータに接続し、メタデータを使用してコンテキスト化して、Now Platform 上のワークフロー、分析、AI エージェントが利用できるようにします。ServiceNow はデータをコピーする代わりに、直接リアルタイムでデータにアクセスし、クエリを実行します。

Workflow Data Fabric はどのような問題を解決しますか？

エンタープライズデータの断片化。ほとんどの組織では、重要なデータが数十のシステムに分散しています。従来のアプローチでは、ETL パイプライン、カスタム統合、古いコピーを生成するスケジュールされた同期が必要です。WDF は、データが既に存在するライブデータに接続することで、そのオーバーヘッドを排除します。

Workflow Data Fabric の 3 つの柱とは何ですか？

接続、コンテキスト化、および制御。コネクトは、ゼロコピーコネクタ、統合ハブ、およびストリームコネクトを介して外部データへのライブリンクを確立します。Contextualize は、データ資産にビジネス上の意味を与え、それらの関係をマッピングするナレッジグラフとデータカタログを追加します。コントロールは、接続の瞬間に接続されたすべてのソースにガバナンス、リネージ追跡、およびアクセスポリシーを適用します。

Workflow Data Fabric は従来の ETL とどのように異なりますか？

ETL (抽出、変換、ロード) は、ソースシステムからデータを取り出して変換し、スケジュールに従って宛先にロードします。すべての同期は、着地した瞬間に古くなり始めるスナップショットです。WDF は抽出とロードを完全にスキップします。ServiceNow はデータにライブで接続し、オンデマンドでクエリを実行するため、ワークフローとエージェントは常に現在のステータスを確認できます。個別に維持または管理するコピーはありません。

ストリームコネクトとは何ですか？

Apache Kafka 用の WDF のイベントストリーミングコネクタ。ダイレクト Kafka モードでは、ServiceNow をネイティブクライアントとして顧客の Kafka クラスターに直接接続し、トピックに関するメッセージを生成および消費します。中間メッセージングレイヤーが不要なため、顧客のストリーミングチームがクラスターを完全に制御できます。

Workflow Data Fabric における「contextualize (コンテキスト化)」とはどういう意味ですか？

生の接続によりデータにアクセスできますが、エージェントとワークフローはそのデータの意味も理解する必要があります。WDF のコンテキスト化レイヤーは、データ資産と、各資産にビジネス上の意味を関連付けるデータカタログとの関係をマッピングするナレッジグラフを提供します。これにより、エージェントは取得するデータを推論するためのコンテキストを得ることができます。

Workflow Data Fabric は AI エージェントとどのように関連していますか？

AI エージェントの効果は、アクセスできるデータによって決まります。WDF は、エンタープライズデータがどこにあるかにかかわらず、Now Platform 上のエージェントが利用できるようにするレイヤーです。ゼロコピーコネクタはリアルタイムアクセスを提供します。ナレッジグラフは、データの意味に関するコンテキストをエージェントに提供します。ガバナンスレイヤーにより、エージェントは表示が許可されているデータにのみアクセスできます。WDF は、エンタープライズ AI エージェントの下にあるデータインフラストラクチャです。

ゼロコピーコネクタとは何ですか？

ゼロコピーは、Workflow Data Fabric の下にあるエンジンです。ワークフロー、AI エージェント、またはスクリプトがデータファブリックテーブルにクエリを実行すると、コネクタはそのクエリを解釈し、ターゲットシステムのネイティブ SQL に変換して、ソースに直接送信します。ソースがクエリを実行し、結果が発信者に返されます。データは ServiceNow 内を移動しますが、そこには保存されません。

ゼロコピーは ServiceNow にデータを保存していますか？

いいえ、データはパイプを通る水のようにプラットフォームを通過します。テーブルに何も入らず、クエリが完了すると何も保持されません。

プッシュダウン実行とは何ですか？

プッシュダウン実行とは、クエリ作業が ServiceNow ではなくデータソースで実行されることを意味します。フィルタリング、結合、集計はすべて、この種の処理用にビルドおよび調整されているソースシステム内で行われます。ServiceNow がクエリを送信し、結果セットを受信します。これにより、Zero Copyは、レコード量に関わらず何百万ものレコードを処理でき、プラットフォームの負荷となることがありません。

ゼロコピークエリが返すデータはどの程度新鮮ですか？

これは、クエリの実行時点のソースのステータスを反映します。同期スケジュールや更新ウィンドウがないため、データが古くなる期間はありません。

ゼロコピーはセキュリティモデルを変更しますか？

いいえ、データがソースシステムから離れることはないため、既にデータを管理しているアクセス制御とポリシーが引き続き適用されます。独自のセキュリティ体制を必要とする 2 番目のコピーを作成することを回避できます。ソースは、そのデータが保護される唯一の場所のままとなります。

ファブリックテーブルとは何ですか？

外部データオブジェクトの ServiceNow 上での投影です。これは、プラットフォーム上の他のテーブルと同じように外観と動作をする仮想テーブルであり、物理的に行を 0 行も格納します。スキーマと列のマッピングは ServiceNow に保持されます。

ファブリックテーブルには行が格納されていますか？

いいえ、クエリーの前、クエリー中、およびクエリーの完了後に保持される行数はゼロです。結果セットに表示される行はソースから読み取られ、テーブルに到達せずに呼び出し元に渡されました。

データスチュワードはどのようにしてファブリックテーブルを作成しますか？

ゼロコピーコネクタを介して。コネクターは、メタデータコレクターを使用して外部システムに到達し、その側のスキーマをスキャンします。次に、スチュワードは外部列を ServiceNow フィールドタイプにマッピングし、プライマリキーを設定し、テーブルに名前を付けます。

通常の ServiceNow テーブルと同じ方法でファブリックテーブルをクエリできますか？

はい。これはテーブルエクスプローラーに表示され、GlideRecord クエリを受け入れ、REST テーブル API から呼び出すことができます。ワークフローと AI エージェントは、他のテーブルと同じ方法でこのデータを消費するため、既存のアクセスパターンは引き続き機能します。

クエリがファブリックテーブルに対して実行されるとどうなりますか？

ゼロコピーエンジンは要求を解釈し、ターゲットシステム用に変換してソースに送信し、結果を呼び出し元に返します。テーブル自体は変更されず、クエリが終了すると空のままになります。

Workflow Data Fabric のナレッジグラフとは何ですか？

接続したレコード間の関係のマップ。データがどのように関連しているかが記録されるため、プラットフォームは、各テーブルを孤立したファクトのセットとして扱うのではなく、発注書がベンダーに属していること、および契約によってそのベンダーを管理することを認識できます。

この文脈でのセマンティックとはどういう意味ですか？

これは、プラットフォームが単に値を保持するだけでなく、データが何を表し、周囲のすべてにどのように接続しているかを理解していることを意味します。この理解により、エージェントはデータをトラバースし、推論することができます。

オントロジー、タクソノミー、メタデータの違いは何ですか？

オントロジーは、ベンダーと契約が異なるタイプのエンティティであるなど、どのような種類のものが存在するかを定義します。分類では、これらのタイプがドメイン内の階層に整理されます。メタデータは、それぞれのプロパティを意味のあるものにするプロパティを記述します。グラフがプラットフォームが理解できる関係を保持するには、3 つすべてが必要です。

データ製品とデータカタログとは何ですか？

ファブリックテーブルは、ベンダー製品や発注書製品などのデータ製品にラップされ、それらの製品はデータカタログに公開されます。公開することで、Workflow Data Fabric はそれらの間のセマンティックな接続を描画できます。

型付き指向エッジとは何ですか？

グラフ内の接続には、タイプと方向の両方があります。ベンダーは発注書を発行し、契約はベンダーを管理し、コストセンターは運用に資金を提供します。方向と意味は関係の一部であるため、プラットフォームは関連付けがどの方向に実行されるかを認識します。

AI エージェントにとってナレッジグラフが重要なのはなぜですか？

ナレッジグラフがなければ、エージェントは一度に 1 ページずつ読み取ります。レコードを取得することはできますが、そのレコードが何に接続されているかを知る方法はありません。グラフを配置すると、エージェントはデータ全体の接続を追跡し、見つかったものを推論できます。

↑ 目次に戻る