Automatisieren Sie sich wiederholende Aufgaben, indem Sie Schritte in manuell erfassen KI-Desktop-Aktionen

  • Freigeben Version: Australia
  • Aktualisiert 10. November 2025
  • 6 Minuten Lesedauer

    • Erstellen Sie Desktop-Aktionen, indem Sie Schritte zur Automatisierung sich wiederholender Aufgaben in manuell erfassen KI-Desktop-Aktionen. Die Schritte, die Sie auf einem oder mehreren Anwendungsbildschirmen definieren, werden als wiederverwendbare Desktop-Aktion vom Typ „Bildschirmaufgabe“ gespeichert.

    Vorbereitungen

    Um auf zuzugreifen KI-Desktop-Aktionen-Funktionalität führen Sie die folgenden Schritte aus:

    Bestätigen Sie, dass die folgenden Systemanforderungen erfüllt sind:

    • Windows 11 Betriebssystem wird verwendet.
    • .NET 9,0 Runtime v9.0.10 und .NET 9 Desktop Runtime v9.0.10 ist installiert.
    • Es sind keine erweiterten Monitore verbunden.
    • Design muss zwischen den Systemen übereinstimmen, die für die Aufzeichnung und Ausführung verwendet werden.
    • Remote-Desktop muss auf Ihrem Computer aktiviert sein, und Ihrem Account müssen Remotedesktopzugriffsberechtigungen gewährt werden, bevor Sie mit der Verwendung von beginnen KI-Desktop-Aktionen Ausführungsarbeitsbereich.

    Machen Sie sich mit dem Designarbeitsbereich und dem Aktionsrekorder vertraut. Weitere Informationen finden Sie unter KI-Desktop-Aktionen Arbeitsbereich entwerfen und Aktionsrekorder in KI-Desktop-Aktionen.

    Erforderliche Rolle: sn_aia.admin

    Warum und wann dieser Vorgang ausgeführt wird

    Sie können eine Anwenderinteraktion in einer Automatisierung simulieren, indem Sie Bildschirme manuell erfassen und Schritte definieren.

    Mit den Steuerungen im Fenster können Sie einen Bereich eines Anwendungsfensters erfassen. Sie können dann einen oder mehrere Anker festlegen und Schritte definieren, die die Anwenderinteraktionen in diesem Fenster darstellen.

    • Anker : Anker helfen, den Zielbereich für die Interaktion anzugeben, indem sie einen statischen Bereich definieren, ab dem Schritte in relativer Entfernung definiert werden können.
    • Schritt : Schritte sind Ihre sequenziellen Interaktionen vom Typ „Klicken“, „Auswählen“, „Eingabe“, „Scrollen“ und mehr.
    Hinweis:
    Wenn Ihre Automatisierung manuelle Eingaben erfordert, z. B. die Eingabe eines OTP oder CAPTCHA, müssen Sie dem KI-Agenten Anweisungen geben, um während der Ausführung auf die Anwendereingabe zu warten. Andernfalls kann die Automatisierung nicht fortgesetzt werden.

    Prozedur

    1. Von Ihrem Windows System, starten Sie KI-Desktop-Aktionen Anwendung.
    2. Auf der Anmeldeseite in ServiceNow-URL hinzufügen Geben Sie ein ServiceNow Instanz-URL.
      Beispiel: https://<instance name>.service-now.com .
      KI-Desktop-Aktionen Anmeldebildschirm für Eingabe ServiceNow Instanz-URL.
    3. Wählen Sie Aus Fahren Sie Fort .
    4. Melden Sie sich bei an ServiceNow Account durch Eingabe Ihres Anwendernamens und Passworts.
      Sie müssen die Rolle „sn_aia.admin“ haben.

      Anmeldefenster zum Aufrufen von ServiceNow Account-Anwendername und Passwort.

    5. Wahlweise: Schließen Sie im Onboarding-Journey-Assistenten das Onboarding ab, und wählen Sie aus Erste Schritte .
      Onboarding-Journey-Widget mit fünf Seiten, um Ihnen die Highlights der Anwendung anzuzeigen.

      Wenn Sie starten KI-Desktop-Aktionen Zum ersten Mal wird das Widget „Onboarding-Journey“ angezeigt. Sie können auswählen Nicht mehr anzeigen Um das Widget beim nächsten Start auszublenden KI-Desktop-Aktionen Oder Einführung überspringen Um das Onboarding zu überspringen.

    6. Auf KI-Desktop-Aktionen Homepage, wählen Sie aus Erstellen Sie eine Desktop-Aktion .
      KI-Desktop-Aktionen Homepage, die die UI-Aktion „Desktop erstellen“, die Optionen suchen und auswählen sowie Karten vorhandener Desktop-Aktionen anzeigt.
    7. Wählen Sie im Dialogfeld neue Desktop-Aktion die Option aus Manuelle Erfassungsschritte .
      Neues Desktop-Aktionsfenster mit ausgewählter manueller Erfassungsoption und Feldern zur Eingabe des Namens und der Beschreibung für die Desktop-Aktion.
    8. Geben Sie einen Namen und eine Beschreibung für die Desktop-Aktion ein.
    9. Wählen Sie Aus Beginnen Sie mit der Erfassung .

      Der Arbeitsbereich „Design“ wird angezeigt.

      Entwerfen Sie den Arbeitsbereich in einem Status, wenn kein Screenshot erfasst wird.
    10. Erfassen Sie Bildschirme.
      1. Wählen Sie auf der Registerkarte Design die aus Erfassungsoptionen Symbol .
      2. Wählen Sie Aus Manuelle Erfassung .
        Design-Arbeitsbereich mit zwei Optionen: Automatische Erfassung mit Recorder und Bildschirme für manuelle Erfassung.

        Die KI-Desktop-Aktionen Fenster wird minimiert, und der Erfassungsbereich wird gestartet.

        Fließender Bereich für manuelle Erfassung mit UI-Aktionen „Auswählen“ und „Abbrechen“.
      3. Öffnen Sie die Anwendungen, für die Sie Schritte automatisieren möchten.
      4. Erfassen Sie den Bereich des Fensters der externen Anwendung, indem Sie auswählen Wählen Sie Aus Symbol Im Erfassungsbereich oder drücken Strg + Umschalt + C Auf der Tastatur.
        Hinweis:
        Wenn Strg + Umschalt + C Tastenkombination steht in Konflikt mit einer anderen Anwendung auf Ihrem Computer, z. B. Zoom, dann müssen Sie verwenden Wählen Sie Aus Schaltfläche zum Initiieren der manuellen Bildschirmerfassung.
        Sie können beispielsweise den Bereich um eine Schaltfläche oder ein Textfeld in einem Webbrowser erfassen. Das Cursorsymbol ändert sich in Symbol.
      5. Ziehen Sie Symbol und wählen Sie den erforderlichen Bildschirmbereich aus.
        Wenn Sie verlassen Symbol, der ausgewählte Bereich wird als Screenshot im Design-Arbeitsbereich erfasst.

        Wenn Sie mit dem erfassten Bildschirm nicht zufrieden sind, können Sie den Bildschirmbereich erneut erfassen, indem Sie auswählen Bild erfassen Symbol .

    11. Fügen Sie Anker ein.
      1. Fügen Sie einen Anker auf dem erfassten Bildschirm ein, indem Sie auswählen Anker hinzufügen Symbol .
        Bildschirmerfassung der Versandmanagement-App mit Anker, der dem Fenstertitel hinzugefügt wurde

        Ein Anker ist ein Referenzpunkt auf dem Bildschirm, der der Automatisierung hilft, nahe gelegene UI-Elemente zu identifizieren und mit ihnen zu interagieren. Während der Ausführung verwendet das System Computervision, um den Anker zu finden, und identifiziert dann die UI-Elemente in einem zugehörigen Abstand vom Anker. Anker verbessern die Stabilität und Genauigkeit von Schritten, wenn sich der Standort des Zielelements verschieben kann oder wenn das UI-Layout in Sitzungen variiert.

        Hinweis:
        Verwenden Sie keine dynamisch ändernden UI-Elemente als Anker. Wenn ein Element seine Farbe, seinen Text oder seinen Status nach einer Aktion ändert (z. B. nach einem Klick), wählen Sie einen anderen Anker aus, der auf dem Bildschirm statisch bleibt.
      2. Verschieben Sie den Anker auf einen Teil des erfassten Bildes, der sich nicht ändert.
        Verschieben Sie beispielsweise den Anker auf einen Titel oder eine Feldbezeichnung.

        Wenn der Bereich unter dem Anker nicht genau mit dem entsprechenden Bereich des erfassten Bildes übereinstimmt, wird der Anker nicht erkannt, und die Schritte werden nicht wie beabsichtigt ausgeführt. Wählen Sie einen statischen Bereich des Bildes aus, um Ihren Anker zu setzen.

        Sie können auf jedem Bildschirm mehrere Anker hinzufügen. Mit mehreren Ankern können Sie die geografische Beziehung zwischen Anker und Ziel genauer definieren, wenn Sie verschiedene Standorte im Bild anvisieren.

    12. Konfigurieren Sie die Schritte.
      1. Wählen Sie im Menü Ankersteuerung die Option aus Schritt hinzufügen Symbol .
      2. Wählen Sie im Kontextmenü den Typ des Schritts aus, der für diesen Schritt ausgeführt werden soll.
        Bildschirmerfassung einer App mit hinzugefügtem Anker, der verschiedene Arten von Eingabe- und Ausgabeschritten anzeigt.
        Tabelle : 1. Beschreibung der Aktionen
        Ziel Schritt Typ Beispiel
        Geben Sie Text in ein Feld ein Text festlegen Eingabe Geben Sie Textdaten ein, z. B. Anwendername, Adresse, Umfrageantwort oder in einer Situation, in der die Texteingabe akzeptiert wird.
        Hinweis:
        Wenn Sie einen statischen Wert für dieses Feld festlegen, verwendet die Automatisierung ihn während der Ausführung und fordert Sie nicht zur Eingabe von auf Now Assist Bereich.
        Simulieren Sie einen Mausklick Klicken Eingabe Klicken Sie auf eine Schaltfläche, öffnen Sie ein Menü, oder führen Sie einen beliebigen Schritt aus, der normalerweise per Mausklick ausgeführt wird.
        Eine alternative Mausaktion simulieren (z. B. Rechtsklick, Ziehen, Scrollen oder Einfügen) Mausklick Eingabe Führen Sie verschiedene Mausgerätaktionen aus, z. B. mit der rechten Maustaste klicken und ein Objekt auswählen oder auf einer Webseite scrollen.
        Simulieren Sie ein Tastendruck oder eine Tastenfunktion Schlüssel senden Eingabe Führen Sie Tastenkombinationen aus, z. B. Kopieren von Text durch Eingabe Strg + C Für Felder und Elemente.
        Hinweis:
        Wenn Sie einen statischen Wert für dieses Feld festlegen, verwendet die Automatisierung ihn während der Ausführung und fordert Sie nicht zur Eingabe von auf Now Assist Bereich.
        Erfassen Sie Text aus einem Fenster oder einer Webseite Text abrufen Ausgabe Empfangen Sie Text aus dem Quellbereich.
        Erfassen Sie eine Tabelle Tabelle Abrufen Ausgabe Empfangen Sie die Tabelle aus dem Quellbereich, wenn der Text im Tabellenformat vorliegt.
        Hinweis:
        Damit der Schritt Tabellendaten erfolgreich erfassen kann, müssen sich die Daten bereits im Tabellenformular befinden. Der Schritt kann normalen Text nicht in Tabellendaten konvertieren.
        Text aus einem Bild lesen OCR – Text lesen Ausgabe Erkennen Sie Text aus Bildern, und geben Sie ihn im Standardtextformat zurück.

        Sie können mehrere Schritte hinzufügen, die Ihre Automatisierungsschritte darstellen.

    13. Konfigurieren Sie die Eigenschaften für hinzugefügte Bildschirme, Anker und Schritte im Eigenschaftenbereich.
      Weitere Informationen finden Sie unter Bildschirm-, Anker- und Schritteigenschaften in KI-Desktop-Aktionen.
    14. Wahlweise: Ändern Sie die automatisch generierten Namen für alle hinzugefügten Bildschirme, Anker und Schritte.

      Sie können die automatisch generierten Namen gemäß diesen Benennungsrichtlinien ändern.

      • Namensfelder dürfen nicht leer sein.
      • Namensfelder dürfen nur alphanumerische Zeichen enthalten. Leerzeichen und Sonderzeichen sind nicht zulässig.
      • Jeder Name muss auf seiner jeweiligen übergeordneten Ebene eindeutig sein.
        • Jeder Bildschirm muss einen eindeutigen Namen auf Desktop-Aktionsebene haben.
        • Jeder Anker muss einen eindeutigen Namen auf Bildschirmebene haben.
        • Jeder Schritt muss einen eindeutigen Namen auf Ankerebene haben.

    Nächste Maßnahme

    1. Konfigurieren Sie die Details Ihrer Desktop-Aktion. Weitere Informationen finden Sie unter Fügen Sie Details zu Desktop-Aktionen in hinzu KI-Desktop-Aktionen.
    2. Testen und aktivieren Sie die Desktop-Aktion, damit sie KI-Agenten als Tool hinzugefügt werden kann. Weitere Informationen finden Sie unter Testen und aktivieren Sie eine Desktop-Aktion in KI-Desktop-Aktionen.
    3. Fügen Sie KI-Agenten in die Desktop-Aktion als Tool hinzu KI-Agenten-Studio. Weitere Informationen finden Sie unter Fügen Sie einem KI-Agenten eine Desktop-Aktion hinzu.