Automatisieren Sie sich wiederholende Aufgaben, indem Sie Schritte in automatisch erfassen KI-Desktop-Aktionen

  • Freigeben Version: Australia
  • Aktualisiert 10. November 2025
  • 6 Minuten Lesedauer

    • Erstellen Sie Desktop-Aktionen, indem Sie Schritte automatisch erfassen, um sich wiederholende Aufgaben in zu automatisieren KI-Desktop-Aktionen. Sie können die Schritte, die Sie für die Anwendungselemente ausführen, als wiederverwendbare Desktop-Aktion vom Typ „Bildschirmaufgabe“ speichern.

    Vorbereitungen

    Um auf zuzugreifen KI-Desktop-Aktionen-Funktionalität führen Sie die folgenden Schritte aus:

    Bestätigen Sie, dass die folgenden Systemanforderungen erfüllt sind:

    • Windows 11 Betriebssystem wird verwendet.
    • .NET 9,0 Runtime v9.0.10 und .NET 9 Desktop Runtime v9.0.10 ist installiert.
    • Es sind keine erweiterten Monitore verbunden.
    • Design muss zwischen den Systemen übereinstimmen, die für die Aufzeichnung und Ausführung verwendet werden.

    Machen Sie sich mit dem Designarbeitsbereich und dem Aktionsrekorder vertraut. Weitere Informationen finden Sie unter KI-Desktop-Aktionen Arbeitsbereich entwerfen und Aktionsrekorder in KI-Desktop-Aktionen.

    Erforderliche Rolle: sn_aia.admin

    Warum und wann dieser Vorgang ausgeführt wird

    Sie können Schritte aufzeichnen, die Sie für Desktop- und Webanwendungen automatisieren möchten, und sie als Desktop-Aktionen vom Typ „Bildschirmaufgabe“ speichern, die KI-Agenten beim Ausführen von Automatisierungen simulieren können.

    Mit dem Aktionsrekorder können Sie jeden Schritt aufzeichnen, den Sie für Desktop-Anwendungen ausführen, einschließlich Klicks, Tastenanschläge und Dateneingaben, sowie visuelle und kontextbezogene Informationen. Mit dieser detaillierten Aufzeichnung von Schritten können automatisierte Aufgaben Ihre Interaktionen zuverlässig replizieren.

    Hinweis:
    Wenn Ihre Automatisierung manuelle Eingaben erfordert, z. B. die Eingabe eines OTP oder CAPTCHA, müssen Sie dem KI-Agenten Anweisungen geben, um während der Ausführung auf die Anwendereingabe zu warten. Andernfalls kann die Automatisierung nicht fortgesetzt werden.

    Prozedur

    1. Von Ihrem Windows System, starten Sie KI-Desktop-Aktionen Anwendung.
    2. Auf der Anmeldeseite in ServiceNow-URL hinzufügen Geben Sie ein ServiceNow Instanz-URL.
      Beispiel: https://<instance name>.service-now.com .
      KI-Desktop-Aktionen Anmeldebildschirm für Eingabe ServiceNow Instanz-URL.
    3. Wählen Sie Aus Fahren Sie Fort .
    4. Melden Sie sich bei an ServiceNow Account durch Eingabe Ihres Anwendernamens und Passworts.
      Sie müssen die Rolle „sn_aia.admin“ haben.

      Anmeldefenster zum Aufrufen von ServiceNow Account-Anwendername und Passwort.

    5. Wahlweise: Schließen Sie im Onboarding-Journey-Assistenten das Onboarding ab, und wählen Sie aus Erste Schritte .
      Onboarding-Journey-Widget mit fünf Seiten, um Ihnen die Highlights der Anwendung anzuzeigen.

      Wenn Sie starten KI-Desktop-Aktionen Zum ersten Mal wird das Widget „Onboarding-Journey“ angezeigt. Sie können auswählen Nicht mehr anzeigen Um das Widget beim nächsten Start auszublenden KI-Desktop-Aktionen Oder Einführung überspringen Um das Onboarding zu überspringen.

    6. Auf KI-Desktop-Aktionen Homepage, wählen Sie aus Erstellen Sie eine Desktop-Aktion .
      KI-Desktop-Aktionen Homepage, die die UI-Aktion „Desktop erstellen“, die Optionen suchen und auswählen sowie Karten vorhandener Desktop-Aktionen anzeigt.
    7. Wählen Sie im Dialogfeld neue Desktop-Aktion die Option aus Schritte der automatischen Erfassung (empfohlen) .
      Neues Desktop-Aktionsfenster mit ausgewählter Option für automatische Erfassung und Feldern zur Eingabe des Namens und der Beschreibung für die Desktop-Aktion.
    8. Geben Sie einen Namen und eine Beschreibung für die Desktop-Aktion ein.
    9. Wählen Sie Aus Beginnen Sie mit der Erfassung .

      Die KI-Desktop-Aktionen Fenster wird minimiert, und der Aktionsrekorder-Bereich wird gestartet. Sie können den Aktionsrekorder-Bereich frei an beliebiger Stelle auf Ihrem Desktop-Bildschirm ziehen und neu positionieren.

      Floating-Recorder-Bereich mit UI-Aktionen „Verwerfen“, „Anhalten“ und „Aufzeichnung starten“.
    10. Öffnen Sie die Anwendungen, für die Sie Schritte aufzeichnen möchten.
    11. Wählen Sie im Bereich „Aktionsrekorder“ die Option aus Aufzeichnung starten .
      Im Aktionsaufzeichnungsbereich wird die Meldung „Aufzeichnung gestartet“ angezeigt. Sie können bei Bedarf eine der folgenden Optionen aus auswählen Weitere Optionen Menü:
      • Anhalten : Aufzeichnungsschritte überspringen
      • Starten Sie Neu : Aufzeichnung der Schritte neu starten

        Die aufgezeichneten Bildschirme und Schritte gehen verloren.

      • Verwerfen : Verwerfen Sie die Aufzeichnung, wenn sie nicht Ihren Anforderungen entspricht
      Wichtig:
      Vermeiden Sie, während der Aufzeichnung Schritte zu schnell auszuführen, da der Recorder möglicherweise Erfassungsschritte verfehlen kann.
      • Wenn die Nachricht im Aktionsrekorder-Bereich rot angezeigt wird, warten Sie, bis der Recorder die Verarbeitung des aktuellen Schritts abgeschlossen hat, bevor Sie fortfahren.

        Gelbe Nachricht, die angibt, dass der Bereich den Schritt noch erfasst.

      • Fahren Sie mit der Erfassung des nächsten Schritts fort, wenn das rote Hervorhebungsfeld um das Element angezeigt wird, mit dem Sie interagieren, und die Nachricht im Bereich des Aktionsrekorders in blau geändert wird.

        Blaue Nachricht, die angibt, dass der Erfassungsschritt im Bereich abgeschlossen ist.

    12. Führen Sie die Schritte aus, die Sie automatisieren möchten.

      Jeder von Ihnen ausgeführte Schritt wird sequenziell erfasst, und der Typ der UI-Aktion wird für jeden Schritt angezeigt. Beispiel: Erfassung des Linksklick-Ereignisses der Maus.

    13. Nachdem Sie alle Schritte ausgeführt haben, wählen Sie aus Aufzeichnung beenden Im Aktionsrekorder-Bereich.

      Sie können maximal 50 Schritte mit dem Recorder in einer Aufnahmesitzung erfassen. Beim automatischen Erfassen von Schritten zeigt ein Zähler die verbleibende Anzahl der Schritte an, die Sie mit dem Recorder erfassen können (z. B. „35 von 50 max.“). Die Aufzeichnung wird automatisch angehalten, nachdem Sie 50 Schritte erfasst haben. Wenn Sie zusätzliche Schritte erfassen müssen, starten Sie eine neue Aufnahmesitzung. Die neue Aufzeichnung fügt Bildschirme und Schritte zu den in der vorherigen Aufzeichnung erfassten hinzu.

      Im Aktionsaufzeichnungsbereich wird die Nachricht „aufgezeichnete Aktion(en) entwerfen“ angezeigt.

      Die aufgezeichneten Schritte werden als Screenshots im Design-Arbeitsbereich angezeigt, wobei automatisch Anker und Schritte hinzugefügt werden.

    14. Überprüfen Sie die Reihenfolge der erfassten Bildschirme.
      Sie können die Sequenz anpassen, indem Sie die Bildschirme im Bereich „Bildschirme und Schritte“ ziehen.
    15. Überprüfen Sie die Position der Anker, und passen Sie sie nach Bedarf an.
      Hinweis:
      Die Genauigkeit der automatischen Verankerung hängt von der Barrierefreiheit, Leistung und UI-Komplexität der Anwendung ab.
    16. Überprüfen und passen Sie die Schritte an.
      Sie können die Sequenz ändern, indem Sie Schritte hinzufügen, entfernen oder ziehen.
      1. Wählen Sie im Menü Ankersteuerung die Option aus Schritt hinzufügen Symbol .
      2. Wählen Sie im Kontextmenü den Typ des Schritts aus, der für diesen Schritt ausgeführt werden soll.
        Bildschirmerfassung einer App mit hinzugefügtem Anker, der verschiedene Arten von Eingabe- und Ausgabeschritten anzeigt.
        Tabelle : 1. Beschreibung der Aktionen
        Ziel Schritt Typ Beispiel
        Geben Sie Text in ein Feld ein Text festlegen Eingabe Geben Sie Textdaten ein, z. B. Anwendername, Adresse, Umfrageantwort oder in einer Situation, in der die Texteingabe akzeptiert wird.
        Hinweis:
        Wenn Sie einen statischen Wert für dieses Feld festlegen, verwendet die Automatisierung ihn während der Ausführung und fordert Sie nicht zur Eingabe von auf Now Assist Bereich.
        Simulieren Sie einen Mausklick Klicken Eingabe Klicken Sie auf eine Schaltfläche, öffnen Sie ein Menü, oder führen Sie einen beliebigen Schritt aus, der normalerweise per Mausklick ausgeführt wird.
        Eine alternative Mausaktion simulieren (z. B. Rechtsklick, Ziehen, Scrollen oder Einfügen) Mausklick Eingabe Führen Sie verschiedene Mausgerätaktionen aus, z. B. mit der rechten Maustaste klicken und ein Objekt auswählen oder auf einer Webseite scrollen.
        Simulieren Sie ein Tastendruck oder eine Tastenfunktion Schlüssel senden Eingabe Führen Sie Tastenkombinationen aus, z. B. Kopieren von Text durch Eingabe Strg + C Für Felder und Elemente.
        Hinweis:
        Wenn Sie einen statischen Wert für dieses Feld festlegen, verwendet die Automatisierung ihn während der Ausführung und fordert Sie nicht zur Eingabe von auf Now Assist Bereich.
        Erfassen Sie Text aus einem Fenster oder einer Webseite Text abrufen Ausgabe Empfangen Sie Text aus dem Quellbereich.
        Erfassen Sie eine Tabelle Tabelle Abrufen Ausgabe Empfangen Sie die Tabelle aus dem Quellbereich, wenn der Text im Tabellenformat vorliegt.
        Hinweis:
        Damit der Schritt Tabellendaten erfolgreich erfassen kann, müssen sich die Daten bereits im Tabellenformular befinden. Der Schritt kann normalen Text nicht in Tabellendaten konvertieren.
        Text aus einem Bild lesen OCR – Text lesen Ausgabe Erkennen Sie Text aus Bildern, und geben Sie ihn im Standardtextformat zurück.

        Sie können mehrere Schritte hinzufügen, die Ihre Automatisierungsschritte darstellen.

    17. Konfigurieren Sie die Eigenschaften für hinzugefügte Bildschirme, Anker und Schritte im Eigenschaftenbereich.
      Weitere Informationen finden Sie unter Bildschirm-, Anker- und Schritteigenschaften in KI-Desktop-Aktionen.
    18. Wahlweise: Ändern Sie die automatisch generierten Namen für alle hinzugefügten Bildschirme, Anker und Schritte.

      Sie können die automatisch generierten Namen gemäß diesen Benennungsrichtlinien ändern.

      • Namensfelder dürfen nicht leer sein.
      • Namensfelder dürfen nur alphanumerische Zeichen enthalten. Leerzeichen und Sonderzeichen sind nicht zulässig.
      • Jeder Name muss auf seiner jeweiligen übergeordneten Ebene eindeutig sein.
        • Jeder Bildschirm muss einen eindeutigen Namen auf Desktop-Aktionsebene haben.
        • Jeder Anker muss einen eindeutigen Namen auf Bildschirmebene haben.
        • Jeder Schritt muss einen eindeutigen Namen auf Ankerebene haben.

    Nächste Maßnahme

    1. Konfigurieren Sie die Details Ihrer Desktop-Aktion. Weitere Informationen finden Sie unter Fügen Sie Details zu Desktop-Aktionen in hinzu KI-Desktop-Aktionen.
    2. Testen und aktivieren Sie die Desktop-Aktion, damit sie KI-Agenten als Tool hinzugefügt werden kann. Weitere Informationen finden Sie unter Testen und aktivieren Sie eine Desktop-Aktion in KI-Desktop-Aktionen.
    3. Fügen Sie KI-Agenten in die Desktop-Aktion als Tool hinzu KI-Agenten-Studio. Weitere Informationen finden Sie unter Fügen Sie einem KI-Agenten eine Desktop-Aktion hinzu.