Amazon S3 campos de configuração de entrada de dados
Descrição dos campos no Amazon S3 formulário de configuração de entrada de dados.
Configuração básica
| Campo | Descrição |
|---|---|
| Nome | Nome da nova entrada de dados. Este campo é obrigatório. |
| Descrição | Descrição da entrada de dados. |
| Executar nos(as) | Opção para selecionar se um específico deve ser usado MID Server ou um MID Server cluster. |
| MID |
(Somente quando Executar em O campo está definido como MID Server específico) MID Server para o qual registrar dados Amazon S3 extraído.Nota: Este campo é obrigatório.
|
| Cluster do MID Server | (Somente quando Executar em está definido como MID Server cluster.) . MID Server cluster para o qual os dados de log são extraídos.A entrada de dados é executada em um único MID Server no cluster até isso MID Server falhas. Em seguida, o sistema move todas as tarefas de entrada de dados para as próximas disponíveis MID Server no cluster de acordo com a ordem configurada. Nota: Para obter mais informações sobre MID Server clusters, consulte Configure um cluster do MID Server .
Este campo é obrigatório. |
| Instância do serviço | A instância de serviço à qual vincular os dados de log. Nota: Este campo é obrigatório.Se nenhuma instância de serviço relevante existir, Crie um instância de serviço E adicionar ICs a ele. Defina o status da nova instância de serviço como Operacional. |
Os seguintes campos mostram informações somente leitura:
| Campo | Descrição |
|---|---|
| Status | Status da entrada de dados. |
| Transporte | Protocolo usado para transmitir os dados de log. Esta entrada de dados usa Amazon S3 para transmitir dados de log para sua instância. |
| Contagem de fontes | O número de origens de log que esta entrada de dados criou. |
| Desativado desde | Hora em que a entrada de dados parou ou falhou. |
| Hora do último log | Hora em que o último log foi transmitido na entrada de dados. |
| Mensagem de erro | O erro de fluxo. Este campo é preenchido automaticamente. Ele é exibido somente quando ocorre um erro de fluxo. |
| Campo | Descrição | Exemplo |
|---|---|---|
| De/para | Datas e hora de início e término para ler os dados.
|
A partir de: Agora -1 semana Para: 2300-01-01 15:59:59 |
| Nome do bucket | . Amazon S3 bucket a ser transmitido. Este campo é obrigatório. |
my-s3-bucket |
| Prefixo | Prefixo dos objetos a serem obtidos. A entrada de dados busca somente objetos que começam com este prefixo. Normalmente, este campo é usado para buscar somente pastas específicas em um bucket. | /only/this/folder/ |
| Incluir | Arquivo ou objeto a ser incluído quando o sistema executa a correspondência de padrão. | .*include-me.* |
| Excluir | Arquivo ou objeto a ser excluído quando o sistema executa correspondência de padrão. | .*ignore-me.* |
| Campo | Descrição |
|---|---|
| Credenciais da AWS | Campo que se refere à lista de Credenciais da AWS (aws_credentials.list). A lista contém as chaves de acesso da AWS e de acesso secreto. |
| Região da AWS | A região da AWS em que Amazon S3 o bucket está localizado, por exemplo, us-west-1. Para obter uma lista de regiões da AWS, consulte https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-regions-availability-zones.html#concepts-regions Este campo é obrigatório. |
Configuração avançada
| Campo | Descrição | Valor padrão |
|---|---|---|
| Anônimo | Opção para forçar o acesso ao Amazon S3 bucket sem credenciais, ignorando as credenciais padrão, se existirem. | Falso(a) |
| Percorrer | Opção para acessar cada diretório no bucket. | Falso(a) |
| Objeto classificado pela hora da última modificação | Opção para buscar objetos se os objetos no bucket forem classificados por hora. | Falso(a) |
| Tempo limite de conexão | O número de milissegundos de espera antes de atingir o tempo limite da tentativa de estabelecer uma conexão com a AWS. | 100 |
| Tamanho do Threadpool | O número de threads simultâneos que estão baixando arquivos do bucket. | 1 |
| Tamanho do buffer | Tamanho do buffer de download, em bytes. | 100MB |
| Tempo limite do soquete | O número de milissegundos de espera antes de expirar a transferência de dados por uma conexão estabelecida. | 10000 |
| Máximo de novas tentativas para o arquivo | O número máximo de vezes para repetir o processamento do arquivo em caso de falha. | 10 |
| Fuso horário padrão | O fuso horário padrão se o log não incluir informações de fuso horário. | UTC |
| Proporção de soltura de subamostra | O número de eventos a serem agrupados em lote, dos quais um será descartado. Esta configuração é usada para reduzir o número de eventos obtidos. | -1 |
| Taxa de recebimento de subamostra | O número de eventos a serem agrupados em lote, dos quais todos, exceto um, serão descartados. Esta configuração é usada para diminuir o número de eventos recebidos. | -1 |
| Limite de taxa | O número máximo de eventos por segundo que esta entrada de dados processa. | -1 |
| Tamanho máximo em bytes | O tamanho máximo dos eventos, em bytes. | 32766 |
| Codificação de caracteres | A codificação de caracteres para esta entrada de dados. | UTF-8 |
| Intervalo de inatividade | O intervalo, em segundos, a aguardar antes de consultar novamente depois que uma consulta não retornou eventos. | 60 |
| Intervalo de Pesquisa | O intervalo, em segundos, a aguardar antes de pesquisar novos eventos. | 0 |
| Descartar se a fila estiver cheia | Opção para selecionar descartar logs se houver uma carga no MID Server. | Falso(a) |