Amazon S3 Champs de configuration de l’entrée de données

  • Rversion finale: Zurich
  • Mis à jour 31 juil. 2025
  • 5 minutes de lecture

    • Description des champs sur le Amazon S3 formulaire de configuration des entrées de données.

    Configuration de base

    Champ Description
    Nom Nom de la nouvelle entrée de données Ce champ est obligatoire.
    Description Description de l'entrée de données.
    Exécuter sur Option permettant de choisir d’utiliser une grappe spécifique Serveur MID ou une Serveur MID grappe.
    MID

    (Uniquement lorsque le champ Exécuter sur est défini sur Serveur MID spécifique)

    Serveur MID vers lequel les données du Amazon S3 journal sont extraites.
    Remarque :
    • Vous pouvez sélectionner uniquement des Serveurs MID qui prennent en charge l'authentification de base. Les Serveurs MID qui prennent en charge mTLS ne sont pas répertoriés.
    • Le nombre maximal par défaut d'entrées de données qui diffusent des journaux vers une seul Serveur MID est de 10. Vous pouvez modifier ce nombre dans les propriétés du MID Server.
    • Si l’ingestion de journal n’est pas activée pour la tâche sélectionnée Serveur MID, Analyse de l'intégrité des journaux elle est activée automatiquement.
    Ce champ est obligatoire.
    Grappe de serveurs MID

    (Uniquement lorsque Exécuter sur est défini sur Serveur MID grappe.)

    Grappe Serveur MID vers laquelle les données de journal sont extraites.

    L’entrée de données s’exécute sur une seule Serveur MID dans la grappe jusqu’à ce que cela Serveur MID échoue. Le système déplace ensuite toutes les tâches d’entrée de données vers la prochaine tâche disponible Serveur MID dans la grappe en fonction de l’ordre configuré.

    Remarque :
    • Analyse de l'intégrité des journaux ne prend en charge que les clusters de basculement Serveur MID . Dans ces clusters, plusieurs Serveurs MID sont regroupés pour la protection contre le basculement. Lors de la sélection d’une grappe à partir du formulaire d’entrée de données, la Serveur MID liste de grappes affiche uniquement les grappes de basculement.
    • La Serveur MID grappe ne doit inclure que Serveurs MID ceux qui prennent en charge l’authentification de base. mTLS n’est pas pris en charge pour l’ingestion de journaux.
    • L’ingestion de journaux doit être activée pour chacun Serveur MID des éléments de la grappe. Si l’ingestion de journal n’est pas activée pour l’actif Serveur MID, Analyse de l'intégrité des journaux l’active automatiquement.
    • Le nombre maximal par défaut d'entrées de données qui diffusent des journaux vers un seul Serveur MID est de 10. Un cluster passe la validation de capacité s’il en contient au moins un Serveur MID avec moins de 10 entrées de données en cours d’exécution, même lorsque celui-ci Serveur MID est en panne.
    Pour plus d’informations sur Serveur MID les grappes, voir Configurer une grappe de Serveur MID.

    Ce champ est obligatoire.
    Instance de service Instance de service à laquelle lier les données du journal.
    Remarque :
    Si aucune instance de service pertinente n’existe, Créer un de service et ajoutez-y des CI. Définissez l’état de la nouvelle instance de service sur Opérationnel.
    Ce champ est obligatoire.

    Les champs suivants affichent des informations en lecture seule :

    Champ Description
    États État de l'entrée de données.
    Transport Protocole utilisé pour diffuser les données de journal.

    L'entrée de données utilise Amazon S3 pour diffuser les données de journal vers votre instance.
    Nombre de sources nombre de sources de journal créées par cette entrée de données.
    Désactivé depuis Heure à laquelle l'entrée de données s'est arrêtée ou a échoué.
    Heure du dernier journal Heure à laquelle le dernier journal a été transmis à l'entrée de données.
    Message d'erreur Erreur de diffusion.

    Ce champ est renseigné automatiquement. Il s’affiche uniquement lorsqu’une erreur de diffusion s’est produite.
    Tableau 1. Onglet Paramètres de la requête
    Champ Description Exemple
    De/À Dates et heures de début et de fin de lecture des données.
    • De : Les données antérieures à cette date et heure ne sont pas lues.
      Remarque :
      La définition de cette valeur sur une date antérieure peut nécessiter que le système lise de grandes quantités de données, provoquant ainsi une congestion.
    • À : Les données postérieures à cette date et heure ne sont pas lues. Pour les données en direct, définissez cette date loin dans le futur.
    Ce champ est obligatoire.
    		 De : Maintenant -1 semaine

    À : 2300-01-01 15:59:59
    Nom de la catégorie Catégorie Amazon S3 à diffuser.

    Ce champ est obligatoire.

    		 ma-categorie-s3
    Préfixe Préfixe des objets à extraire. L'entrée de données extrait uniquement les objets qui commencent par ce préfixe. Ce champ est généralement utilisé pour extraire uniquement des dossiers spécifiques dans une catégorie. /uniquement/ce/dossier/
    Inclure Fichier ou objet à inclure lorsque le système effectue la correspondance de modèle. .*incluez-moi.*
    Exclure Fichier ou objet à exclure lorsque le système effectue la correspondance de modèle. .*excluez-moi.*
    Tableau 2. Onglet Transport
    Champ Description
    Informations d'identification AWS Champ qui fait référence à la liste d'informations d'identification AWS (aws_credentials.list). La liste contient les clés d'accès AWS et secrètes.
    Région AWS Région AWS où se trouve la catégorie Amazon S3, par exemple, us-west-1.

    Pour obtenir une liste des régions AWS, consultez https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-regions-availability-zones.html#concepts-regions

    Ce champ est obligatoire.

    Configuration avancée

    Tableau 3. Formulaire Configuration avancée
    Champ Description Valeur par défaut
    Anonyme Option pour forcer l'accès à la catégorie Amazon S3 sans informations d'identification, tout en ignorant les informations d'identification par défaut si elles existent. Faux
    Traversée Option permettant d'accéder à chaque répertoire de la catégorie. Faux
    Objet trié par heure de dernière modification Option permettant d'extraire des objets si les objets de la catégorie sont triés par heure. Faux
    Délai de connexion Nombre de millisecondes à attendre avant l'expiration de la tentative de connexion à AWS. 100
    Taille du pool de threads Nombre de threads simultanés qui téléchargent des fichiers à partir de la catégorie. 1
    Taille de la mémoire tampon Taille de la mémoire tampon de téléchargement. 100 Mo
    Délai d'expiration du socket Nombre de millisecondes à attendre avant l'expiration d'un transfert de données sur une connexion établie. 10000
    Nombre maximal de tentatives par fichier Nombre maximal de nouvelles tentatives de traitement des fichiers en cas de défaillance. 10
    Fuseau horaire par défaut Fuseau horaire par défaut si le journal n'inclut pas d'informations sur le fuseau horaire. UTC
    Taux d'abandon du sous-exemple Nombre d'événements à mettre en lot ensemble, dont un sera ignoré. Ce paramètre est utilisé pour réduire le nombre d'événements récupérés. -1
    Taux de réception du sous-exemple Nombre d'événements à mettre en lot ensemble, dont tous, sauf un, seront ignorés. Ce paramètre est utilisé pour réduire le nombre d'événements reçus. -1
    Limite du taux Nombre maximal d'événements par seconde traités par cette entrée de données. -1
    Longueur maximale en octets Longueur maximale, en octets, des événements. 32766
    Codage des caractères Codage des caractères pour cette entrée de données. UTF-8
    Intervalle de sommeil Intervalle, en secondes, à attendre avant d'interroger à nouveau après qu'une requête n'a renvoyé aucun événement. 60
    Intervalle d'interrogation Intervalle, en secondes, à attendre avant l'interrogation des nouveaux événements. 0
    Abandonner si la file d'attente est saturée Option permettant de sélectionner l'abandon des journaux s'il y a une charge sur le Serveur MID. Faux