ワークフロースタジオ でフローを編集する
フローを編集して、ページネーションが正しく実装されていることを確認します。これにより、データが正しくインポートされたことを確認できます。
- なし
- オフセット
- 時間ベース
- トークンベース
バッチインポートなし
オートメーションセンター で提供されているページネーション手法を使用したくない場合は、バッチインポートなしの方法を選択します。ここで必要な手順はありません。
オフセットベースのバッチインポート
特定の開始点 (オフセット) とバッチサイズ (制限) を使用してデータをインポートする場合は、オフセットベースのバッチインポート方法 (ページネーション方法) を選択します。
- オフセット:データのインポートの開始点。
- 合計アイテム:インポートするレコードの合計数。
- 制限:各バッチでインポートするレコードの数。
例:オフセットを 20、合計アイテムを 200、制限を 10 に設定した場合、システムはレコード 20 から開始して 200 レコードすべてがインポートされるまで、10 レコード単位のバッチでデータをインポートします。
設定手順
- [SourceHub はオフセットベースのページネーションチャンクを取得します (SourceHub get offset based pagination chunks)] アクションで、 [オフセット]、[合計アイテム]、および [制限] フィールドの値を指定し、 [完了] を選択します。
値を定義すると、右側のパネル ([For each (それぞれについて)] の下) で [chunks_child0] フィールドが使用可能になります。
[アクションを選択] ステップで選択したアクションについて、[SourceHub はオフセットベースのページネーションチャンクを取得します (SourceHub get offset based pagination chunks)] アクションからの制限と、[SourceHub はオフセットベースのページネーションチャンクを取得します (SourceHub get offset based pagination chunks)]アクションにより生成された [chunks_child0] フィールド出力を使用したオフセット値をマッピングします。
制限とオフセットをサポートしないアクションの処理
[SourceHub はオフセットベースのページネーションチャンクを取得します (SourceHub get offset based pagination chunks)] アクションによって返された出力を使用して、アクションの制限値とオフセット値をマッピングします。
選択したアクションに、オフセットベースのページネーションについて事前定義されたパラメーターはないが、これらのパラメーターに対応できるフィルターが含まれている場合は、次のいずれかを実行できます。
- オプション 1:選択したアクションの直前にアクションを追加して、制限とオフセットを処理します。このアクションにより、プライマリアクションがデータをフェッチするために使用できるクエリが生成されます。
- オプション 2:プライマリアクションをコピーし、制限とオフセットの入力を含めるように変更し、これらの入力を処理してクエリを作成します。このクエリを元のアクションのフィルターに渡します。
注:オプション 2 を選択した場合は、必ず最初に元のアクションのコピーを作成してください。コピー後、[アクションを選択] ステップでコピーしたアクションを再選択し、フローを再生成します。アクションの選択については、「アクションを選択する」を参照してください。- [完了] と [テスト] を選択します。
- データのバッチインポートの設定 の手順 3 以降に従います。
時間ベースのバッチインポート
特定の日付範囲のデータをインポートする場合は、時間ベースのバッチインポート方法を選択します。
設定手順
- [SourceHub は日付ベースのページネーションチャンクを取得します (SourceHub get date based pagination chunks)] アクションで、開始日と終了日を指定し、 [完了] をクリックします。
値を定義すると、右側のパネルで [範囲] フィールドが使用可能になります。
- [アクションを選択] ステップで選択したアクションについて、[SourceHub は日付ベースのページネーションチャンクを取得します (SourceHub get date based pagination chunks)]アクションによって生成された [範囲] フィールド出力を使用して、開始日と終了日の値をマッピングします。
日付形式
接続マネージャーが使用し、返す日付の形式は「YYYY:MM:DD:HH:MM:SS」です。アクションが日付範囲をサポートしている場合は、形式が自動的に適用されます。
日付範囲をサポートしていないアクションの処理
アクションが日付範囲を自動的にサポートしないが、アクションにカスタムパラメーターのフィルターが含まれている場合は、次のいずれかの方法に従うことができます。- オプション 1:選択したアクションの前にアクションを追加して、開始日と終了日を処理します。このアクションにより、プライマリアクションがデータをフェッチするために使用できるクエリが生成されます。
- オプション 2:プライマリアクションをコピーし、開始日と終了日の入力を含めるように変更します。アクション内でこれらの入力を処理してクエリを作成し、それを元のアクションのフィルターに渡します。注:オプション 2 を選択した場合は、必ず最初に元のアクションのコピーを作成してください。コピー後、[アクションを選択] ステップでコピーしたアクションを再選択し、フローを再生成します。アクションの選択については、「アクションを選択する」を参照してください。
- [完了] と [テスト] を選択します。
- データのバッチインポートの設定 の手順 3 以降に従います。
トークンベースのバッチインポート
継続トークンを使用してデータをインポートする場合は、トークンベースのバッチインポート方法を選択します。
[ バッチインポートを構成 ] ページでトークンベースのバッチインポート方法を選択する場合は、トークンの名前を指定する必要があります。このトークンは、アクション (next_url、next_token、next など) によって返される継続値を表します。トークン名が、スペルや大文字と小文字を含め、アクションから返された内容と正確に一致していることを確認してください。
設定手順
- 指定されたトークン名が正しい場合は、do-while 条件によって自動的にマッピングされます。空白のままの場合は、アクションの出力から do-while ロジックの条件フィールドに継続トークンを手動でドラッグします。
- トークンの更新された値を格納する文字列タイプのフロー変数を追加します。
- 変更を保存し、[完了] をクリックします。
- 選択したアクションの後に [フロー変数の設定] ロジックステップを挿入します。このステップでは、新規作成されたフロー変数の値を、アクションによって返される継続トークンに設定します。このトークンが do-while 条件にマップされたトークンと一致することを確認してください。
- [完了] と [テスト] を選択します。
- データのバッチインポートの設定 の手順 3 以降に従います。