AI デスクトップアクション デザインワークスペース

  • リリースバージョン: Australia
  • 更新日 2025年11月09日
  • 所要時間:6分
  • デザインワークスペースは、 AI デスクトップアクション 内のインタラクティブ環境であり、デスクトップアプリケーションとのユーザーインタラクションを記録して設定することで、デスクトップアクションを作成できます。ワークスペースは、さまざまなアプリケーション全体のビジネスプロセスをキャプチャするマルチスクリーンの自動化ワークフローを設計できるビジュアルキャンバスを提供します。

    重要:
    デザインワークスペースと実行ワークスペースへのアクセスは、ユーザーのロールによって異なります。
    • AI エージェントアドミン (sn_aia.admin) ロールを持つユーザーがデスクトップからサインインすると、ホームページとデザインワークスペースにアクセスしてデスクトップアクションを作成できます。デスクトップアクションをテストすると、実行ワークスペースが自動的に起動します。
    • Now Assistパネルユーザー (now_assist_panel_user) ロールを持つユーザーがNow Assistパネルから自動化をトリガーすると、実行ワークスペースが自動的に起動してデスクトップアクションが実行されます。

    実行ワークスペースを直接開くことはできません。デスクトップアクションをテストまたは実行すると、自動的に起動します。

    AI デスクトップアクションホームページ

    ホームページには直感的なインターフェイスがあり、デスクトップアクションをすばやく作成、追跡、および管理できます。既存のデスクトップアクションを簡単に見つけて管理し、そのステータスを監視できます。

    図 : 1. AI デスクトップアクションホームページ
    AI デスクトップアクション [デスクトップアクションを作成 (Create desktop action)] UI アクション、検索とフィルターのオプション、および既存のデスクトップアクションのカードを含むホームページ。

    AI デスクトップアクション にログインすると、最初にホームページが表示されます。ホームページでは、さまざまな機能を操作できます。

    デスクトップアクションを作成
    ステップを手動でキャプチャしてデスクトップアクションを作成したり、記録を通じてステップを自動キャプチャしたりすることができます。
    アクションの検索と管理
    特定のアクションを検索し、ホームページから直接管理できます。
    自分のアクションとすべてのアクション
    [自分のアクション] タブには、ログインしたユーザーが公開したアクションのみが表示されます。[すべてのアクション] タブには、ログインしているユーザーが接続しているインスタンスで使用可能なすべてのアクションのリストが表示されます。
    デスクトップアクションカード
    作成日、作成したユーザー、追加されたアプリケーション、アクティベーションステータスなどの詳細を含む構成済みデスクトップアクション。
    デスクトップアクションを編集
    各カードの [編集 ] オプションを選択することで、デスクトップアクションを変更できます。加えた変更は保存され、ホームページに反映されます。
    初めてのユーザーのオンボーディング
    初めて AI デスクトップアクション を開くと、オンボーディングウィザードがデスクトップアクションを作成してアクティブ化するための手順を案内します。
    [ イントロをスキップ ] を選択してオンボーディングウィザードをバイパスし、ホームページに移動します。次回アプリを開いたときにウィザードが表示されないようにするには、[ 次回これを表示しない ] オプションを選択します。オンボーディングウィザードを完了したら、[ 開始] を選択してデスクトップアクションの作成を開始します。
    プロファイルとドキュメントへのアクセス
    専用のセクションでは、プロファイル情報の表示、製品ドキュメントへのアクセス、製品のバージョンの確認を行うことができます。

    AI デスクトップアクション [デザイン] タブ

    デザインワークスペースは、デスクトップアクションを作成、管理、テストするためのノーコード環境を提供します。ボタンのクリック、テキストの入力、ドロップダウンからの選択、さまざまなアプリケーションの操作など、コンピューターで実行する一連の手順を自動キャプチャするか、手動で記録できます。その後、このシーケンスを再利用可能なデスクトップアクションとして保存できます。

    図 : 2. [デザイン] タブ
    AI デスクトップアクション [デザイン]、[詳細] タブ、[画面]、[ステップ] パネルなどのインターフェイス要素と、番号付き注釈付きのキャプチャされた通貨換算画面を表示する [デザイン] タブ。
    番号: 要素 説明
    1 [デザイン ] タブ 画面、アンカー、およびステップを追加して、デスクトップアクションを設計できます。
    2 [詳細] タブ 名前、説明、このデスクトップアクションがやり取りするアプリケーションなどの詳細をデスクトップアクションに追加できます。このデスクトップアクションの入力と出力を確認することもできます。
    3 画面とステップ パネル キャプチャされたすべての画面と追加されたアンカー、およびデスクトップアクションが実行する必要がある順序でステップを表示します。これらのアイテムをドラッグして移動すると、順序を変更できます。[画面テストを実行] アイコン を選択して、画面レベルのテストを実行することもできます。
    4 プロパティパネル 画面、アンカー、およびステップのプロパティを設定できます。
    5 キャプチャオプション 自動化するアプリケーションとのインタラクションをキャプチャするための 2 つのオプションが用意されています。
    • ステップを自動キャプチャ:自動化するタスクに対して実行するステップを自動的に記録します。
    • 手動で画面をキャプチャ:画面を手動でキャプチャし、アンカーを挿入し、自動化するステップを追加できます。
    6 キャプチャされた画面 キャプチャしたアプリケーション画面。

    画面を削除するには、[画面とステップ] パネルから [ 削除 ] アイコン を選択します。

    7 アンカー アンカーは、自動化が近くの UI 要素を識別して操作するのに役立つ、画面上の参照点です。実行中、システムはコンピュータービジョンを使用してアンカーを特定し、アンカーから関連する距離にある UI 要素を識別します。アンカーは、ターゲット要素の場所が移動する可能性がある場合や、UI レイアウトがセッション間で異なる場合に、ステップの安定性と精度を向上させます。

    [ 削除] アイコン を選択すると、任意のアンカーを削除できます。

    8 ステップ 自動化のステップ。次のタイプのステップがサポートされています。
    入力
    • テキストを設定
    • Click
    • マウスクリック
    • キーの送信
    出力
    • テキストを取得
    • テーブルを取得
    • OCR Read Text

    ステップを追加するには、[ステップコントロール] メニューから [ ステップを追加 ] アイコン を選択します。[ 削除] アイコン を選択すると、任意のステップを削除できます。

    9 テスト アクティブ化する前に、実行ワークスペースでデスクトップアクションをテストできます。個々の画面をテストして、問題をすばやく特定してトラブルシューティングすることもできます。必要な入力を手動で入力してテストを実行します。
    10 保存 必須フィールドを設定した後、デスクトップアクションを保存できます。
    11 アクティブ化 デスクトップアクションをアクティブ化して AI エージェントスタジオに公開できるようにするオプション。アクティブ化されたデスクトップアクションをツールとして AI エージェントに追加できます。
    注:
    アクティブ化後、デスクトップアクションを保存して AI エージェントスタジオ のツールとして使用できるようにします。
    12 画面キャプチャオプション
    • 画面を再キャプチャ:新しい画面を再キャプチャして、既存の画面を置き換えます。
    • アンカーを追加:キャプチャされた画面にアンカーを追加します。
    • 画面を削除:キャプチャされた画面を削除します。関連するすべてのアンカーとステップが削除されます。