AI デスクトップアクションのステップを自動キャプチャして繰り返しタスクを自動化する

  • リリースバージョン: Australia
  • 更新日 2025年11月10日
  • 所要時間：8分

    • ステップを自動キャプチャしてデスクトップアクションを作成し、 AI デスクトップアクションでの反復タスクを自動化します。アプリケーション要素に対して実行するステップは、画面上のタスクタイプの再利用可能なデスクトップアクションとして保存できます。

    始める前に

    AI デスクトップアクション機能にアクセスするには、次の手順を実行します。

    次のシステム要件が満たされていることを確認します。

    • Windows 11 オペレーティングシステムが使用されています。
    • .NET 9.0 ランタイム v9.0.10 と .NET 9 デスクトップ ランタイム v9.0.10 がインストールされています。
    • 拡張モニターが接続されていません。
    • テーマは、記録と実行に使用されるシステム間で一致する必要があります。

    デザインワークスペースとアクションレコーダーについて理解してください。詳細については、「AI デスクトップアクション デザインワークスペース」と「AI デスクトップアクションのアクションレコーダー」を参照してください。

    必要なロール:sn_aia.admin

    このタスクについて

    デスクトップアプリケーションおよび Web アプリケーション用に自動化するステップを記録し、AI エージェントが自動化の実行中にシミュレートできる画面上のタスクタイプのデスクトップアクションとして保存できます。

    アクションレコーダーを使用すると、クリック、キーストローク、データ入力など、デスクトップアプリケーションで実行するすべてのステップを、視覚的およびコンテキスト情報とともに記録できます。このようにステップを詳細に記録することで、自動化されたタスクでインタラクションを確実に再現できます。

    注:
    自動化で OTP や CAPTCHA の入力などの手動入力が必要な場合は、実行中にユーザー入力を待つように AI エージェントに指示を与える必要があります。そうしないと、自動化を続行できません。

    手順

    1. Windows システムから、AI デスクトップアクション アプリケーションを起動します。
    2. ログインページの [ ServiceNow URL を追加 ] フィールドに、 ServiceNow インスタンス URL を入力します。
      例: https://<instance name>.service-now.com。
      AI デスクトップアクションインスタンス URL を入力するためのログイン画面ServiceNow
    3. [Proceed] を選択します。
    4. ユーザー名とパスワードを入力して、 ServiceNow アカウントにログインします。
      sn_aia.admin ロールが必要です。

      ServiceNowアカウントのユーザー名とパスワードを入力するためのログインウィンドウ。

    5. オプション: オンボーディングジャーニーウィザードで、オンボーディングを完了し、[ 開始] を選択します。
      アプリケーションのハイライトを表示する 5 ページで構成されたオンボーディングジャーニーウィジェット。

      AI デスクトップアクションを初めて起動する場合は、オンボーディングジャーニーウィジェットが表示されます。次回AI デスクトップアクション起動時にウィジェットを非表示にする場合は [次回から表示しない] を選択し、オンボーディングをスキップするには [イントロをスキップ] を選択できます。

    6. AI デスクトップアクション ホームページで、[デスクトップアクションの作成] を選択します。
      AI デスクトップアクション [デスクトップアクションを作成 (Create desktop action)] UI アクション、検索および選択オプション、および既存のデスクトップアクションのカードを表示するホームページ。
    7. [新しいデスクトップアクション] ダイアログボックスで、[ 自動キャプチャの手順 (推奨)] を選択します。
      自動キャプチャオプションが選択され、デスクトップアクションの名前と説明を入力するフィールドが表示された、新しいデスクトップアクションウィンドウ。
    8. デスクトップアクションの名前と説明を入力します。
    9. [ キャプチャの開始] を選択します。

      AI デスクトップアクションウィンドウが最小化され、[アクションレコーダー] パネルが起動します。アクションレコーダーパネルは、デスクトップ画面上の任意の場所に自由にドラッグして位置を変更できます。

      [破棄]、[一時停止]、および [記録を開始] UI アクションがあるフローティングレコーダーパネル。
    10. ステップを記録するアプリケーションを開きます。
    11. [アクションレコーダー] パネルから、[ 記録を開始] を選択します。
      アクションレコーダーパネルに「記録を開始しました」というメッセージが表示されます。必要に応じて、[ その他のオプション ] メニューから次のいずれかのオプションを選択できます。
      • 一時停止:記録ステップをスキップ
      • 再起動:ステップの記録を再開します

        記録された画面とステップは失われます。

      • 破棄:ニーズに合わない場合は録音を破棄します
      重要:
      レコーダーがステップのキャプチャを見逃す可能性があるため、記録中はステップの実行が早すぎないようにしてください。
      • アクションレコーダーパネルのメッセージが赤で表示されたら、レコーダーが現在のステップの処理を終了するのを待ってから続行します。

        パネルがまだステップをキャプチャしていることを示す黄色のメッセージ。

      • 操作する要素の周囲に赤いハイライトボックスが表示され、アクションレコーダーパネルのメッセージが青に変わったら、次のステップのキャプチャに進みます。

        パネルがステップのキャプチャを完了したことを示す青色のメッセージ。

    12. 自動化する手順を実行します。

      実行する各ステップは順番にキャプチャされ、各ステップの UI アクションのタイプが表示されます。たとえば、マウスの左クリックイベントのキャプチャなどです。

    13. すべての手順が完了したら、[アクションレコーダー] パネルで [記録を終了 ] を選択します。

      録音セッションでレコーダーを使用して、最大 50 ステップをキャプチャできます。ステップの自動キャプチャ中は、レコーダーを使用してキャプチャできる残りのステップ数がカウンターに表示されます(例:「35/50 max」)。50歩をキャプチャすると、記録は自動的に停止します。追加のステップをキャプチャする必要がある場合は、新しい記録セッションを開始します。新しい録画では、以前の録画でキャプチャされた画面とステップに画面とステップが追加されます。

      アクションレコーダーパネルに「記録されたアクションの下書きを作成しています」というメッセージが表示されます。

      記録されたステップは、アンカーとステップが自動的に追加された状態でスクリーンショットとしてデザインワークスペースに表示されます。

    14. キャプチャされた画面のシーケンスを確認します。
      [画面とステップ (Screens and steps)] パネルで画面をドラッグすることで、順序を調整できます。
    15. アンカーの位置を確認し、必要に応じて調整します。
      注:
      自動アンカーの精度は、アプリケーションのアクセシビリティ、パフォーマンス、および UI の複雑さによって異なります。
    16. 手順を確認して調整します。
      ステップを追加、削除、またはドラッグすることで、シーケンスを変更できます。
      1. [アンカーコントロール] メニューから、[ ステップを追加 ] アイコン を選択します。
      2. コンテキストメニューから、このステップに対して実行するステップのタイプを選択します。
        アンカーが追加されたアプリのスクリーンキャプチャ。さまざまなタイプの入力ステップと出力ステップが表示されています。
        表 : 1. アクションの説明
        目標 ステップ タイプ 例
        フィールドにテキストを入力する テキストを設定 入力 ユーザー名、住所、サーベイ回答などのテキストデータを入力するか、テキスト入力が許可されている場合は任意の状況で入力します。
        注:
        このフィールドに静的な値を設定すると、自動化は実行中にその値を使用し、 Now Assist パネルからの入力を求めません。
        マウスクリックをシミュレートする Click 入力 ボタンをクリックしたり、メニューを開いたり、通常はマウスのクリックによって実行されるステップを実行します。
        代替マウス操作 (右クリック、ドラッグ、スクロール、貼り付けなど) をシミュレートする マウスクリック 入力 オブジェクトを右クリックして選択したり、Web ページをスクロールしたりするなど、さまざまなマウスデバイスアクションを実行します。
        キー押下またはキーの機能をシミュレートする キーの送信 入力 フィールドや要素に Ctrl + C を入力してテキストをコピーするなど、キーボードショートカットを実行します。
        注:
        このフィールドに静的な値を設定すると、自動化は実行中にその値を使用し、 Now Assist パネルからの入力を求めません。
        ウィンドウまたは Web ページからテキストをキャプチャする テキストを取得 出力 ソース領域からテキストを受信します。
        テーブルをキャプチャする テーブルを取得 出力 テキストがテーブル形式であるときにソース領域からテーブルを受け取ります。
        注:
        ステップでテーブルデータを正常にキャプチャするには、データが既にテーブル形式になっている必要があります。このステップでは、通常のテキストをテーブルデータに変換できません。
        画像からテキストを読み取る OCR Read Text 出力 画像からテキストを認識し、標準のテキスト形式で返します。

        自動化ステップを表す複数のステップを追加できます。

    17. [プロパティ] パネルで追加された画面、アンカー、およびステップのプロパティを構成します。
      詳細については、「AI デスクトップアクションの画面、アンカー、およびステップのプロパティ」を参照してください。
    18. オプション: 追加されたすべての画面、アンカー、およびステップの自動生成名を変更します。

      自動生成された名前は、次の命名ガイドラインに従って変更できます。

      • 名前フィールドを空にすることはできません。
      • 名前フィールドには英数字のみを使用する必要があります。スペースと特殊文字は使用できません。
      • 各名前は、それぞれの親レベルで一意である必要があります。
        • 各画面には、デスクトップアクションレベルで一意の名前が必要です。
        • 各アンカーには、画面レベルで一意の名前を付ける必要があります。
        • 各ステップには、アンカーレベルで一意の名前を付ける必要があります。

    次のタスク

    1. デスクトップアクションの詳細を構成します。詳細については、「AI デスクトップアクションでのデスクトップアクションへの詳細の追加」を参照してください。
    2. デスクトップアクションをテストしてアクティブ化し、AI エージェントにツールとして追加できるようにします。詳細については、「AI デスクトップアクションでのデスクトップアクションのテストとアクティブ化」を参照してください。
    3. AI エージェントスタジオ でデスクトップアクションをツールとして AI エージェントに追加します。詳細については、「AI エージェントへのデスクトップアクションの追加」を参照してください。