デスクトップおよび Web ベースのタスクに対して定義されたデスクトップアクション
AI デスクトップアクション を使用して、固定ステップを伴うデスクトップおよび Web ベースのタスクを自動化します。
AI デスクトップアクション は、 Windows オペレーティングシステムにインストールされるクライアントアプリケーションです。アプリには、デスクトップ自動化を作成および構成するデザインワークスペースと、それらの自動化を実行する実行ワークスペースの 2 つのワークスペースが用意されています。デザインワークスペースでは、ステップを記録または手動でキャプチャすることで、複数ステップのプロセスを自動化できます。実行ワークスペースを使用すると、AI エージェントは隔離されたデスクトップセッションでデスクトップアクションを実行できます。
定義されたデスクトップアクションは、次の 2 つのカテゴリに分類されます。
- 画面上のタスク:これらのデスクトップアクションは、API を使用しないシッククライアントアプリケーション、レガシーシステム、または SaaS アプリケーションの UI 要素を人間が操作する様子をシミュレートするのに役立ちます。これらのアクションには、ボタンのクリック、テキストボックスへの入力、ドロップダウンメニューからの選択などが含まれます。
- バックグラウンドタスク:これらのデスクトップアクションには、AI エージェントがバックグラウンドでさまざまなアプリケーションやシステムコンポーネントとやり取りできるようにするビルド済みコネクタが含まれています。
AI デスクトップアクションに関連する主要なインターフェイス
- デザインワークスペース
- 自動化がデスクトップアプリケーションと対話する方法を定義するデスクトップアクションを作成してテストします。
- 実行ワークスペース
- テスト中または実行中に、隔離されたデスクトップセッションでデスクトップアクションを自動的に実行します。このワークスペースを直接開くことはできません。
- AI エージェントスタジオ
- デスクトップアクションを実行する AI エージェントを作成および管理します。
- Now Assist パネル
- ServiceNow内から自動化をトリガーします。
これらのコンポーネントは連携して設計、実行、監視を分離し、安全で信頼性の高いデスクトップ自動化を保証します。
AI デスクトップアクション ユーザー
| ユーザー | 説明 |
|---|---|
| アドミニストレーター |
AI デスクトップアクションアプリケーションを設定して展開します。 |
| 開発者 | 組織内で自動化ソリューションを設計、管理、展開します。 |
| ビジネスユーザー | 広範な技術的知識がなくても、反復的なデスクトップタスクを自動化します。 |
| プロセスオーナー | デスクトップでの手動操作を自動化することで、ビジネスプロセスを最適化します。 |
AI デスクトップアクションのエンドツーエンドの仕組み
このワークフローは、デスクトップアクションの設計から実行中の実行まで、 AI デスクトップアクション がどのように機能するかを示します。ワークフローを進めるときは、手動で実行するステップと、システムによって自動的に処理されるステップに注意してください。
重要:
デザインワークスペースと実行ワークスペースへのアクセスは、ユーザーのロールによって異なります。
- AI エージェントアドミン (sn_aia.admin) ロールを持つユーザーがデスクトップからサインインすると、ホームページとデザインワークスペースにアクセスしてデスクトップアクションを作成できます。デスクトップアクションをテストすると、実行ワークスペースが自動的に起動します。
- Now Assistパネルユーザー (now_assist_panel_user) ロールを持つユーザーがNow Assistパネルから自動化をトリガーすると、実行ワークスペースが自動的に起動してデスクトップアクションが実行されます。
実行ワークスペースを直接開くことはできません。デスクトップアクションをテストまたは実行すると、自動的に起動します。
- AI エージェントアドミンロールでは、ノーコードのデザインワークスペースを使用して、AI エージェントが実行できる再利用可能なデスクトップアクションを作成します。画面と UI 要素認識を使用して、人間の行動を模倣するクリック、テキスト入力、抽出などのアプリケーションのインタラクションを視覚的に作成してシミュレートできます。
- デスクトップアクションをテストすると、システムは隔離されたデスクトップセッションで実行ワークスペースを自動的に起動します。実行ワークスペースを直接開いたり管理したりすることはありません。
- デザインワークスペースからデスクトップアクションをアクティブ化して、AI エージェントが AI エージェントスタジオのツールとして使用できるようにします。
- AI エージェントスタジオで簡単なテキスト指示を提供することで、AI エージェントを作成します。
- 設計したデスクトップアクションをツールとして AI エージェントに追加します。
- 統合ツールを使用して AI エージェントが正しく機能していることを確認します。
- Now Assistパネルユーザーロールでは、デスクトップで完了するタスクの指示をNow Assistパネルに入力します。
- デスクトップアクションを実行する AI エージェントが Now Assist パネルからトリガーされます。
- AI エージェントは、タスクを完了するための適切なデスクトップアクションを選択します。
- システムは、デスクトップアクションを実行するために、隔離されたデスクトップセッションで実行ワークスペースを自動的に起動します。実行ワークスペースを直接開いたり管理したりすることはありません。
- 専用の実行環境を提供する実行ワークスペースでリアルタイムで実行される自動化を観察および管理します。
- 入力が必要な自動化にステップインおよびステップアウトします。
- Now Assistパネルで実行結果を確認します。
詳細については、「AI デスクトップアクションの定義されたパスデスクトップアクション」と「AI デスクトップアクションの AI エージェントの作成」を参照してください。
AI デスクトップアクション 機能
- デスクトップアクションをデザインする
-
- アプリケーションメタデータを使用して、再利用可能なデスクトップアクションを作成、構成、および管理します。
- レコーダー機能を使用すると、デスクトップアプリケーションでアクションを実行しているときに、ユーザーのインタラクションとコンテキスト情報を自動的に記録してキャプチャします。
- さらに、手動で画面をキャプチャし、UI インタラクションを定義し、ノーコードのデザインワークスペースでステップを構造化します。
- バックグラウンドで実行
- エージェントタスクのサイレントで非侵入的な実行を可能にし、中断のないユーザーワークフローをサポートします。
- Windowsでの多様なアプリケーションのサポート
- レガシーシステム、シッククライアントアプリケーション、オペレーティングシステム上の Web アプリケーションなど、さまざまな環境と UI タイプにわたってタスク Windows 自動化します。
- コアデスクトップ機能
- フォームへの入力、アプリケーションのクリック、OS ファイルの処理などの一般的なデスクトップアクションをサポートします。
- パフォーマンス
- AI エージェントスタジオへのネイティブ統合による自動化をサポートします。
- シームレスな統合
- 簡単にアクセスして展開できるように、構成されたデスクトップアクションを AI エージェントスタジオ に直接公開します。