統合ハブ - インポート
ガイド付きの手順を追って操作できる統合インターフェイスを介してデータインポートタスクを自動化します。外部データソースを定義し、ターゲットテーブルを指定し、ソースデータがどのようにターゲットデータになるかをマッピングし、定期的なインポートをスケジュール設定します。
統合ハブ でインポートを管理すると、外部ソースからデータをインポートして ServiceNow テーブルに変換するプロセスが簡素化されます。データインポートの設定、実行、スケジュール設定はすべて単一のインターフェイスで行えます。
App Engine Studio から直接 統合ハブ - インポートにアクセスして、カスタムアプリケーション用のデータ統合をビルドすることができます。詳細については、「App Engine Studio でのデータの追加」を参照してください。
メリット
- 複数のデータ連携機能を単一の環境に統合することで、プラットフォーム全体で複数のフォームを作成および管理する必要がなくなります。
- 単一のインターフェイスで複数の統合を管理できます。
- データソースとターゲットテーブルの構成についてガイドします。
- 単一の簡素化されたインターフェイスからデータをマッピングおよび変換できます。
- データのインポートをスケジュールしたり、オンデマンドで手動でデータをインポートしたりすることができます。
- データインポートの実行に関する使用情報と、インポートされた行、更新、およびエラーに関する詳細を提供します。
インポートプロセスの概要
データのインポートには 3 つのステップがあります。
- 1. データソースを設定します。
- データソースは、インポートするデータを取得する方法と場所を指定します。統合ハブ では、データソースは、Excel ファイル、CSV ファイル、またはデータストリームアクションを使用して外部ソースからデータを取得します。データストリームアクションは、REST、SOAP、または JDBC 要求を API に送信し、データのストリームを返します。
- 2. データをターゲットテーブルにマップします。
- ターゲットテーブルは、データの変換先のテーブルです。ターゲットテーブルを選択した後、ソースデータをそのテーブルに変換する方法を指定できます。データマップを作成すると、データを変換する方法の概要が示されます。インポートを実行するまでデータは変換されません。
- 3. インポートを実行またはスケジュールします。
- データソースを設定し、データマッピングを決定したら、インポートを実行できます。インポートを後で実行するようにスケジュールすることもできます。インポートが実行されると、データはソースから収集され、ステージングテーブルに移動され、マッピングの仕様に従ってターゲットテーブルに変換されます。
データインポートの仕組みの詳細については、「インポートセット」を参照してください。
統合ハブ インポート環境
統合ハブ インポート環境には、以下のインターフェイスが含まれています。
- ランディングページ
- ソース構成
- ターゲットにマッピング
- インポートのスケジュール
- 実行の詳細
次のセクションでは、各インターフェイスについて詳しく説明します。
ランディングページ
ランディングページから統合を作成してアクセスします。
- 1. [統合] リスト
- 統合ハブ インポートインターフェイスを介して作成された統合には、ここからアクセスできます。
- 2. [新しいデータ連携を作成] ボタン
- 新しいデータ連携のビルドを開始するボタン。
ソース構成
[ソース構成] ページからインポートするデータソースを定義します。データソースは、Excel ファイル、CSV ファイル、またはデータストリームアクションである必要があります。
- 1. ソースタイプセレクター
- データソースタイプを選択するためのメニュー。以下のセクションがあります。
- AD-HOC：データソースとして Excel ファイルまたは CSV ファイルを選択します。
- SPOKES：データソースとしてデータストリームアクションを選択します。アクティブなデータストリームをスポーク別に整理し、アルファベット順に表示します。
- 2. [ファイルのアップロード] または [接続] セクション ([接続] セクションは表示されていません)
データソースが Excel ファイルまたは CSV ファイルの場合、ここには [ファイルのアップロード] セクションが表示されます。ファイルを上にドラッグするか、参照してアップロードできます。XLSX、XLS、CSV、および ZIP ファイルを受け入れます。
データソースがデータストリームアクションの場合、ここには [接続] セクションが表示されます。接続エイリアスを使用するデータストリームアクションでは、デフォルトの接続エイリアスをその子エイリアスで上書きできます。メニューから接続エイリアスを選択します。詳細については、「接続および資格情報エイリアスの作成」を参照してください。
- 3. 設定セクション
- 選択したデータソースを設定するセクション。使用可能なフィールドは、使用しているデータソースのタイプによって異なります。
- Excel ファイルの場合は、シートを選択し、ヘッダーに使用する行番号を指定できます。
- CSV ファイルの場合は、区切り文字を選択します。
- データストリームアクションの場合は、その入力をここに入力します。このセクションは、データストリームアクションに入力がある場合にのみ表示されます。入力のあるデータストリームアクションには一意の入力があるため、ここに表示されるフィールドは、選択したデータストリームアクションとその設定によって異なります。スポーク入力によって既に設定されているデフォルト値は、事前に入力されています。
- 4. [ソースデータ構造] プレビュー
- ソースデータの構造を示すセクション。Excel ファイルまたは CSV ファイルの場合、プレビューには列ヘッダーが表示されます。データストリームアクションの場合は、複合オブジェクトの出力が表示されます。
- 5. [プロパティ] ボタン
- 統合の名前、その説明、およびアプリケーションスコープを表示するためのボタン。名前と説明はいつでも編集できます。アプリケーションスコープは編集できません。統合の作成時に選択する必要があります。
- 6. [保存] ボタン
- ソース構成を保存するためのボタン。このボタンは、ソース構成が更新された場合にのみ有効になります。ソースタイプを選択すると、ソースデータの構造が [ソースデータ構造] プレビューペインに自動的にロードされます。ソース構成を編集した場合は、[保存] をクリックしてソースデータを再ロードします。データをターゲットテーブルにマップする前に、データを少なくとも 1 回プレビューする必要があります。
ターゲットにマッピング
ターゲットテーブルを選択し、ソースデータをそのテーブルにマッピングする方法を決定します。データピルをソースからターゲットにドラッグするか、ピルピッカーを使用するか、または [自動マッピング] を選択してデータをマッピングします。変換関数を適用してターゲットテーブルのデータを変換します。
[ターゲットにマッピング] セクションは 2 つの部分で構成されています。最初の部分で、ターゲットテーブルを選択します。2 番目の部分では、データをターゲットテーブルにマップします。
テーブル選択セクションには、次のコンポーネントがあります。
- 1. テーブルを追加します
- ターゲットテーブルに追加するボタン。
- 2. 変換設定
統合の変換設定を行うボタンです。バッチサイズと空フィールドの処理を指定したり、詳細モードを有効にしたり、統合の前または後にスクリプトを実行したりできます。詳細については、「変換設定」を参照してください。
[変換設定] ボタンは、少なくとも 1 つのターゲットテーブルを追加するまで表示されません。
- 3. ターゲットテーブルカード
- 各カードには、ターゲットテーブルの名前、作成の詳細、およびマップの有無が表示されています。カードを選択して、データマッピングインターフェイスを開きます。
- 4. ターゲットテーブルドロップダウンリスト
- ターゲットテーブルのオプションのリストです。以下が含まれます。
- [プロパティ]：[マッピングプロパティ] ウィンドウを開きます。ここでは、インポート時にテーブルのビジネスルールを実行するためのオプションを表示または編集し、インポートを同期的に実行することができます。
- [マッピングを編集]：データマッピングを作成または編集できるデータマッピングセクションを開きます。
- [テーブル構成]：ターゲットテーブルを構成できる テーブルビルダー を開きます。このオプションは、テーブルビルダー がインストールされている場合にのみ使用可能になります。詳細については、「Table Builder」を参照してください。
- [再検証]：ターゲットエンティティスキーマに変更があるかどうかを確認します。変更が検出されると、ターゲットテーブルカードに、ターゲットスキーマが変更されたことを示すメッセージが表示されます。ターゲットテーブルカードを選択するとウィンドウが開き、ターゲットエンティティスキーマを [更新] したり、スキーマをそのまま維持する場合は [キャンセル] を実行したりできます。ターゲットテーブルの構成を編集するたびに、テーブルを再検証してください。
- [削除]：統合からターゲットテーブルを削除します。
データマッピングセクションには、次のコンポーネントがあります。
- 1. ターゲットテーブル名
- 現在マッピングしているターゲットテーブルの名前です。
- 2. ソースデータセクション
- ソースデータをデータピルとして表示するセクション。データをマップするには、データピルをターゲットテーブルデータセクションにドラッグします。ピルピッカーを使用することもできます。 ソースフィールドをターゲットフィールドにマップすると、ソースフィールド名の横に小さなチェックマークアイコン (
) が表示されます。カーソルをチェックマークに移動すると、ソースフィールドがマッピングされているターゲットフィールド (最大 5 つのフィールド) がツールヒントに一覧表示されます。 - 3. ターゲットテーブルデータセクション
- ソースデータが選択されたターゲットテーブルの各フィールドにどのようにマッピングされるかを表示するセクションです。ターゲットテーブルのすべてのフィールドを表示したり、[フィールドを追加してください] ボタンで個々のフィールドを選択したりできます。選択フィールドと参照フィールドでは、データをマッピングする列を指定することも、デフォルトの表示列を使用することもできます。
- 4. [一致] トグルスイッチ
- スイッチを切り替えて、一致するデータをシステムがチェックするフィールドを指定し、見つかった場合は、新しいレコードを作成する代わりに既存のレコードを更新します。この画像では、[ユーザー ID] フィールドの [一致] トグルスイッチがオンになっています。ソースデータのレコードのユーザー ID がターゲットテーブルのレコードのユーザー ID と一致する場合、システムは新しいレコードを作成するのではなく、ターゲットテーブルの既存のレコードを更新します。
- 5. [マッピングプロパティ] ボタン
- インポート時にテーブルのビジネスルールを実行するためのオプションを表示または編集し、インポートを同期的に実行するためのボタン。
- 6. [自動マッピング] ボタン
- ソースエンティティを類似した名前のターゲットエンティティに自動的にマッピングするボタン。
- 7. データピルピッカー
- データピルピッカーを開くボタン。ピルピッカーを使用して、ソースデータピルをターゲットテーブルのフィールド値にマップできます。
- 8. 変換機能アイコン
- 利用可能な変換機能のリストを開くボタン。変換機能を使用して、データを変更または修正します。たとえば、Trim 変換機能は、入力文字列の最初と最後から空白を削除します。
インポートのスケジュール
インポートをすぐに実行するか、特定の時間、定期的な間隔、または親インポートの後に実行するようにスケジュールします。大規模なインポートを同時実行するようにスケジュールして、処理時間を短縮します。
[スケジュールのインポート] セクションには、次のコンポーネントがあります。
- 1. スケジュール済みインポート
- スケジュール済みインポートのリスト。各スケジュール済みインポートはそれぞれのボタンに表示されます。
- 1. [インポートをスケジュール] ボタン
- スケジュール済みインポートを作成するためのボタン。
- 3. [実行] セクション
- 実行されたインポートに関する情報を含むセクション。実行レコード、実行コンテキストレコード、およびスケジュール済みインポートレコードへのリンクが含まれています。このセクションは、インポートが実行された後にのみ表示されます。
- 4. 実行レコード
- 実行レコードリスト。各実行レコードは、インポートされた行、エラー、ログメッセージなど、実行に関する情報を提供します。
- 5. 実行コンテキストレコード
- 実行コンテキストレコードリスト。各実行コンテキストレコードは、階層的なスケジュール済みインポートを処理するときに使用する次のスケジュール済みインポートを指定します。
- 6. スケジュール済みインポートレコード
- スケジュール済みインポートレコードリスト。各レコードは、スケジュール済みインポートの名前、データソース、スケジュール、およびパーティション方法を提供します。
- 7. [インポート実行] ボタン
- インポートを 1 回実行するボタン。
実行の詳細
実行日時、実行コンテキストなど、各インポートの詳細を表示します。インポートの実行レコードを開き、インポートステータスとインポートされた行、エラー、およびログを表示します。
[実行の詳細] セクションには、次のコンポーネントがあります。
- 1. 実行情報
- 実行レコードの番号、スケジュール済みインポートの名前、インポートセット番号、および更新日など、実行に関する詳細を提供するセクション。
- 2. 実行の詳細
インポート済み、処理済み、処理待ち、またはスキップ済みの行の合計数と、発生したエラーの数を表示するカードを含むセクション。インポートが同時に処理される場合、このセクションにはパーティションカードも含まれます。詳細については、「同時インポート」を参照してください。
カードをクリックすると、結果をフィルター処理できます。フィルター処理された結果は、ページの下部にある [インポートセット行] タブに表示されます。たとえば、[処理待ち] のカードをクリックすると、処理待ちの行が表示されます。[インポートされた合計行数] をクリックするか、[選択のクリア] をクリックすると、フィルターがクリアされます。注:カードのフィルタリングは、インポートセット行でのみ使用できます。フィルター済みリストを表示するには、[インポートセット行] タブが表示されていることを確認してください。- 3. パーティションカード
- インポートセットパーティションのグラフィカルビュー。パーティションカードは、同時インポートセットに対してのみ表示されます。パーティションをクリックすると、その詳細を表示できます。追加のフィルタリングに [実行の詳細] カードを使用することもできます。パーティションフィルターをカードフィルターと組み合わせると、AND 操作がフィルタリングに使用されます。たとえば、パーティションをクリックしてから [エラー] カードをクリックすると、[インポートセット行] タブにはそのパーティションのエラーのみが表示されます。
- 4. パーティションリストビュー
- インポートセット番号、各インポートセットジョブのタイプとステータスなど、各パーティションの詳細を表示するオプション。パーティションリストビューは、同時インポートセットに対してのみ表示されます。パーティションリストビューには、パーティションカードと同じフィルタリング機能があるため、どちらを使用してパーティションをフィルター処理できます。
- 5. インポートの詳細
- 各実行レコードのインポートセット行、送信 HTTP 要求、アクション実行履歴、インポートログ、およびエラーの詳細を示すセクション。
統合ハブ インポートの条件
- データソース
- データソースは、インポートするデータのタイプと、インスタンスがデータを取得できるエンドポイントを定義する設定レコードです。
- データストリームアクション
- データストリームアクションは、REST、SOAP、または JDBC 要求を ワークフロースタジオ から API に送信し、応答データのストリームを返します。データストリームアクションを使用して 10 MB を超えるデータを取得するか、API を使用する場合は、ページネーションされた結果を返します。
- ターゲットテーブル
- ターゲットテーブルは、ソースデータの変換先のテーブルです。
- 変換機能
- 変換機能は、データを変更または修正する機能です。たとえば、入力文字列をすべて大文字に変換する機能などです。
- 実行
- 実行は、単一のインポートの実行の詳細を含むランタイムレコードです。実行するたびに、インポートされた行、ログメッセージ、エラーなど、特定のターゲットのインポートの詳細が提供されます。
- 実行コンテキスト
- 実行コンテキストは、階層的なスケジュール済みインポートを処理するときに使用する次のスケジュール済みインポートを指定するレコードです。
- インポート セット番号
- インポートセットは、データソースからインポートされた生データを含むランタイムレコードのセットです。インポートされたレコードは、インポートセットステージングテーブルに格納されます。
デザインの検討
統合ハブ インポートによるメリットを得るには、次のガイドラインに従ってください。
- 統合ハブ 内からすべての 統合ハブ インポートを作成
- ここでは、統合ハブ インポート環境で作成された統合のみにアクセスできます。たとえば、プラットフォームフォームを使用してデータソースとマッピングを構成することはできませんが、統合ハブ 内からインポートをスケジュールします。統合ハブ で作成された統合のみがランディングページに表示されます。
- 統合ハブ 外部の設定レコードを変更しない
- 設定レコードを直接変更すると、データをインポートしてマッピングするかどうか、およびその方法が変わる可能性があります。データソース、マッピング、またはスケジュール済みインポートの構成を変更する必要がある場合は、統合ハブ インポートインターフェイス内から変更します。
- データソースで使用されるデータストリームアクションの変更を避ける
- データソースとして使用されるデータストリームアクションを変更すると、ソースからターゲットへのマッピングが変更される場合があります。データストリームアクションの出力が変更されると、[ターゲットにマッピング] ページに複合オブジェクトスキーマが変更されたという警告が表示されます。マッピングの再構成が必要になる場合があります。