Importation de données historiques pour DevOps les outils

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 9 minutes de lecture
  • Utilisez le catalogue de services pour intégrer une nouvelle application et importer des données historiques DevOps pour cette application. Activez l’interrogation pour importer des données mappées sur des plans, référentiels et pipelines associés selon une fréquence planifiée.

    Importer des données historiques DevOps pour les outils existants

    Vous pouvez créer une demande d’intégration d’application et importer les données historiques d’un DevOps outil que vous avez déjà intégré à l’aide du formulaire de catalogue d’intégration d’application. Actuellement, vous pouvez importer des données historiques pour les 90 derniers jours à partir de la date actuelle et activer l’interrogation à une fréquence planifiée pour les outils suivants :
    • Jira (Plan)
    • GitHub et GitHub Enterprise (codage)
    • Jenkins (Orchestration)
    Remarque :
    • Assurez-vous d’avoir créé, connecté et détecté l’outil pour lequel vous importez des données.
    • Les demandes d’importation de l’outil de plan (Jira) sont traitées en premier, suivies des demandes d’importation de référentiel et de pipeline.

    Workflow d’importation et nouveaux essais

    Lorsque la demande de catalogue à partir du catalogue en libre-service est soumise, la demande est envoyée pour approbation en suivant le flux d’approbateur désigné que vous avez configuré. Lorsque la demande est approuvée, un événement entrant est créé pour la demande d’intégration de l’application. Le champ Détails du traitement de l’enregistrement d’événement entrant affiche l’ID et l’état de la demande d’importation. Une seule demande d’importation crée plusieurs pages de demande d’importation enfants qui s’affichent dans la liste connexe. Les pages de demande d’importation sont créées selon la logique suivante pour les outils pris en charge :
    • Jira: une page est créée pour une plage de 15 jours.
    • GitHub : une page est créée tous les 100 commits.
    • Jenkins: les pages sont créées par build.
    . Une fois le traitement des demandes d’importation terminé, les éléments de travail, les validations, les branches, les balises, les exécutions de pipelines et les résumés de tests associés que vous avez mappés sont créés et conservés dans le système.
    Une fois l’importation réussie, vous pouvez afficher toutes les validations importées dans le répertoire DevOps > Développer:
    • Succursales
    • Validations
    • Validateurs
    • Balises
    • Référentiels
    • Éléments de travail
    pour plus de détails permettant de confirmer l’importation réussie pour la plage de dates spécifiée.

    Pendant le traitement d’une demande d’importation, en cas d’erreur de page, un mécanisme de nouvelle tentative intégré essaie de traiter la page un nombre défini de fois. Après toutes les tentatives automatiques, si la page est toujours en état d’erreur, les pages suivantes ou restantes dans la demande d’importation sont traitées. L’état général de la demande d’importation reste erroné.

    Par exemple, si la demande d’importation de plan a échoué (après toutes les nouvelles tentatives), nous procéderons au traitement des importations de référentiel et de pipeline. Vous pouvez configurer les nouveaux essais pour la demande d’importation à partir de DevOps > Administration > Propriétés > Nombre maximal de nouveaux essais par page, lors de l’importation.
    • Spécifiez le nombre de nouvelles tentatives à tenter automatiquement, au cas où la page de demande d’importation échouerait dans le champ Nombre maximal de tentatives par page, lors de l’importation . Si, après toutes les tentatives automatiques, la page échoue, la demande d’importation traitera les pages restantes. L’état général de la demande d’importation est considéré comme erroné.
    • Vous pouvez réessayer manuellement de tenter un échec d’importation en cliquant sur le bouton Réessayer l’importation , sur la page de la demande d’importation ayant échoué.

    Calendrier et configuration de l’interrogation

    Activez l’interrogation pour importer DevOps des données à une fréquence planifiée vers les applications qui ont importé des données historiques et qui sont mappées aux plans, référentiels et pipelines associés.

    Une fois que vous avez intégré une application et importé les données associées DevOps , vous pouvez activer le calendrier du système de base pour les demandes d’importation à créer pour les plans, les référentiels et les pipelines qui sont suivis et associés à une application. Une fois le traitement des demandes d’importation terminé, les données associées sont conservées et s’affichent sur l’application. Bien que la tâche planifiée DevOpsImportPolling du système de base soit active par défaut, vous devez activer l’interrogation DevOps à partir des propriétés pour exécuter la tâche planifiée.

    Pour activer l’interrogation, accédez à DevOps > Administration > Propriétés > Activer l’interrogation d’importation et cochez la case.

    L’activation de ce marqueur de propriété active la tâche planifiée DevOpsImportPolling du système de base. La tâche planifiée pour l’interrogation tient compte soit de la dernière importation réussie, soit de 30 jours, la date la plus tardive étant la « date de début » et la date du jour en cours comme la « date de fin » de l’importation de données, et ce, pour toutes les applications actives et dotées de pipelines suivis. La tâche recherche l’heure de la dernière importation réussie et crée la demande d’importation suivante en conséquence. Cette logique garantit que la tâche d’interrogation planifiée importe le delta de données pertinentes DevOps pour cette application, depuis la dernière importation réussie jusqu’à ce jour, jusqu’à un maximum de trente jours.
    Remarque :
    Ne configurez pas une fréquence d’interrogation inférieure à un jour ou 24 heures.
    La fréquence par défaut de la tâche est définie pour s’exécuter quotidiennement à minuit en utilisant le fuseau horaire du système. Pour modifier la fréquence des travaux planifiés, vous avez besoin du rôle d’administrateur ServiceNow Now Platform (admin).
    Accédez à la Définition du système > Travaux planifiés > DevOpsImportPolling et modifiez les valeurs du champ Fréquence d’exécution , Fuseau horaire et Heure selon vos besoins. Pour plus d’informations, consultez Planifier des tâches
    Remarque :
    • La tâche planifiée ne s’applique qu’aux applications actives. Assurez-vous que l’application pour laquelle vous configurez l’interrogation est à l’état actif et que le champ Suivre est activé pour les pipelines pertinents.
    • Tenez compte des éléments suivants lorsque vous modifiez la fréquence du calendrier :
    Les tâches de calendrier qui interrogent pour importer DevOps des données respectent les valeurs par défaut pour les propriétés suivantes DevOps liées aux importations et aux demandes d’importation :
    • Nombre maximal de nouveaux essais par page lors de l'importation
    • Nombre maximal de pages à traiter à la fois pour une demande d'importation
    • Pour enregistrer les charges utiles en tant que pièces jointes sur l’enregistrement de la page de demande d’importation, définissez le champ « Valeur » sur « vrai ». Tout le reste est considéré comme faux.

    Importer des pipelines, référentiels et plans existants Azure DevOps

    Une fois que vous avez intégré Azure DevOpsDevOpsà , vous pouvez importer jusqu’à 90 jours de données de pipeline, de référentiel et de plan existantes Azure DevOps . Vous pouvez ensuite utiliser DevOps des tableaux de bord pour afficher et gérer les Azure DevOps données.

    Avant de commencer

    Rôle requis : administrateur

    Pourquoi et quand exécuter cette tâche

    • Vous demanderez les données du catalogue de services en tant qu’élément de catalogue prédéfini.
    • Les résumés de tests, les artefacts et les packages importés sont liés aux exécutions de pipelines et non aux exécutions d’étapes.
    • Les résultats de l’analyse SonarQube ne sont pas importés.
    • Azure DevOps impose les restrictions suivantes :
      • Un maximum de 20 000 éléments de travail peut être importé tous les 15 jours.
      • Un maximum de 200 validations d’exécution peut être mappé à n’importe quelle exécution de pipeline.
      • Les résultats des tests pour les exécutions de pipeline de plus de 7 jours ne sont pas renvoyés.
    Remarque :
    Le processus d’importation peut prendre un certain temps, voire des heures pour de très grands ensembles de données.

    Procédure

    1. Accédez à la Tout > Catalogue de services > Définitions de catalogues > Mes catalogues , puis sélectionnez Intégration DevOps.
    2. Dans la liste connexe Éléments de catalogue , sélectionnez Application d’intégration DevOps.
    3. Sur le formulaire Élément de catalogue, sélectionnez Essayer pour demander les données.
      Le formulaire d’intégration de l’application DevOps qui en résulte vous permet de spécifier l’élément de catalogue à commander. Dans ce cas, l'« application » à commander est votre Azure DevOps instance.

      Spécifier l’instance dans le formulaire d’intégration

    4. Sélectionnez l’icône Sélectionner dans la liste ( icône Applications) dans le champ Application , puis sélectionnez votre instance de Azure DevOps.
      Maintenant que vous avez spécifié l’instance, vous allez spécifier la plage de dates et les sources de données à importer.
    5. Répétez la procédure suivante pour chaque pipeline, référentiel et plan que vous souhaitez importer :
      1. Sélectionnez l’icône Sélectionner dans la liste ( icône Applications) dans le champ d’intégration approprié pour sélectionner l’élément à importer.
        Vous pouvez sélectionner plusieurs éléments.
      2. Spécifiez la plage de dates pour les données dans les champs Importer depuis et Importer vers .
    6. Sélectionnez Commander maintenant.
      Votre demande apparaît sur la page État de la commande.
    7. Sélectionnez le numéro de la demande afin que vous ou un autre utilisateur disposant du rôle administrateur puissiez l’approuver.
      Sélectionner la demande afin de pouvoir l’approuver
    8. Approuver la demande : dans le formulaire de demande, définissez Approbation et état de la demandesur Approuvé.
      Le processus d’importation commence immédiatement après l’approbation.

    Importer des pipelines et référentiels existants GitLab

    Une fois que vous avez intégré GitLab à DevOps, vous pouvez importer jusqu’à 90 jours de données de pipeline et de référentiel existantes GitLab . Vous pouvez ensuite utiliser DevOps des tableaux de bord pour afficher et gérer les GitLab données.

    Avant de commencer

    Rôle requis : administrateur

    Pourquoi et quand exécuter cette tâche

    • Vous demanderez les données du catalogue de services en tant qu’élément de catalogue prédéfini.
    • Les résumés de tests importés sont liés aux exécutions de pipelines et non aux exécutions d’étapes.
    • Seuls les artefacts publiés à l’aide du mot clé artefacts sont importés.
    • Les résultats des tests ne sont pas affichés pour les artefacts qui ont expiré. Vous pouvez définir la date d’expiration d’un artefact en configurant la propriété expire_in dans le pipeline. Pour plus d’informations sur les politiques d’expiration des artefacts, consultez Expiration des métadonnées des artefacts et des tâches.
    • Les résultats de l’analyse SonarQube ne sont pas importés.
    • Seules 6 400 validations par branche peuvent être importées en une seule importation.
    • GitLab impose la restriction suivante : tout en associant des validations d’exécution à une exécution de pipeline, GitLab ne fournit pas la partie de départ des détails de la validation dans certains scénarios. Il ne fournit que la partie avant le SHA sous la forme '000000000000000000'. Dans de tels scénarios, la dernière validation est associée en tant que validation d’exécution. Par exemple, lorsqu’une branche est créée ou lorsqu’un pipeline est exécuté manuellement.
      Remarque :
      Le processus d’importation peut prendre un certain temps, voire des heures pour de très grands ensembles de données.

    Procédure

    1. Accédez à la Tout > Catalogue de services > Définitions de catalogues > Mes catalogues , puis sélectionnez Intégration DevOps.
    2. Dans la liste connexe Éléments de catalogue , sélectionnez Application d’intégration DevOps.
    3. Sur le formulaire Élément de catalogue, sélectionnez Essayer pour demander les données.
      Le formulaire d’intégration de l’application DevOps qui en résulte vous permet de spécifier l’élément de catalogue à commander. Dans ce cas, l'« application » à commander est votre GitLab instance.

      Spécifier l’instance dans le formulaire d’intégration

    4. Sélectionnez l’icône Sélectionner dans la liste ( icône Applications) dans le champ Application , puis sélectionnez votre instance de GitLab.
      Maintenant que vous avez spécifié l’instance, vous allez spécifier la plage de dates et les sources de données à importer.
    5. Répétez la procédure suivante pour chaque référentiel que vous souhaitez importer :
      1. Sélectionnez l’icône Sélectionner dans la liste ( icône Applications) dans le champ Référentiels d’intégration , puis sélectionnez l’élément à importer.
        Vous pouvez sélectionner plusieurs éléments.
      2. Spécifiez la plage de dates pour les données dans les champs Importer depuis et Importer vers .
      Remarque :
      Les pipelines mappés aux référentiels sont automatiquement sélectionnés lorsque vous sélectionnez le référentiel dans le champ Référentiels d’intégration . Vous n’avez pas besoin de sélectionner les pipelines séparément.
    6. Sélectionnez Commander maintenant.
      Votre demande apparaît sur la page État de la commande.
    7. Sélectionnez le numéro de la demande afin que vous ou un autre utilisateur disposant du rôle administrateur puissiez l’approuver.
      Sélectionner la demande afin de pouvoir l’approuver
    8. Approuver la demande : dans le formulaire de demande, définissez Approbation et état de la demande sur Approuvé.
      Le processus d’importation commence immédiatement après l’approbation.