Join the #BuildWithBuildAgent Challenge! Get recognized, earn exclusive swag, and inspire the ServiceNow Community with what you can build using Build Agent.  Join the Challenge.

tiagomacul
Giga Sage

Desafio de Volume: Gestão de 7TB de Dados na ServiceNow para Evitar Multas Contratuais e Cumprir a Retenção de 5, 7, 10 Anos

 

DataArchiving.png

 

  1. A Crise do Excesso de Dados e a Pressão da Auditoria

O ServiceNow, como core de processos empresariais, acumula dados em um ritmo acelerado. Quando o volume de dados ativos atinge patamares elevados (normalmente mais de 7TB utilizados), as organizações enfrentam dois problemas urgentes:

  1. Risco Contratual e Financeiro: O consumo de dados ultrapassa os limites contratuais, resultando em multas ou custos altos para a aquisição de aditivos à licença.
  2. Conflito de Conformidade: A Auditoria exige que dados históricos sejam mantidos por até X anos para fins regulatórios, enquanto a performance da plataforma exige que o volume ativo seja drasticamente reduzido.

Essa situação demanda uma estratégia de Gestão de Volume de Dados (DVM) que equilibre o desempenho da instância com a retenção obrigatória.

 

  1. O Arquivamento (Data Archiving) como Solução de Equilíbrio

O módulo nativo de Data Archiving é a ferramenta essencial para resolver esse conflito. Sua função é mover registros inativos (como Incidents e Tasks fechados há anos) de tabelas primárias para tabelas de arquivamento separadas, mas dentro do mesmo banco de dados.

Benefícios Imediatos do Arquivamento:

  • Otimização de Performance: Ao remover milhões de registros inativos, as consultas (GlideRecord) e os reports se tornam drasticamente mais rápidos.
  • Controle de Volume Ativo: Reduz o volume na camada de dados de produção, ajudando a voltar para dentro dos limites contratuais e mitigando multas.
  • Acessibilidade para Auditoria: Os dados arquivados permanecem na instância e podem ser facilmente acessados para cumprir o requisito de retenção de X anos.

 

  1. Conformidade Regulatória: O Roteiro para a Retenção de Dados

A definição da política de arquivamento e descarte na ServiceNow não é técnica, mas sim um requisito de governança imposto por normas globais e nacionais.

  • 🇪🇺 GDPR / 🇧🇷 LGPD (Lei Geral de Proteção de Dados):
    • Foca no Princípio da Necessidade e Finalidade, exigindo que dados pessoais sejam mantidos apenas pelo tempo estritamente necessário para o propósito inicial.
    • A retenção além desse período é permitida somente se houver uma obrigação legal ou regulatória, o que justifica a retenção de logs e registros de auditoria por longos períodos, mas exige a exclusão ou anonimização de dados pessoais de tickets resolvidos.
  • 🇧🇷 BACEN (Banco Central do Brasil) e Setor Financeiro:
    • Impõem requisitos rigorosos de rastreabilidade e auditoria para a segurança cibernética (Circular nº 3.901/2018).
    • Requer a manutenção de logs de eventos de segurança e acessos privilegiados por um período robusto (frequentemente 5 anos ou mais) para fins de investigação e compliance financeiro.
  • ITIL (Information Technology Infrastructure Library):
    • Embora não seja uma lei, o framework ITIL endossa o Arquivamento como uma boa prática de Gestão do Ciclo de Vida do Serviço.
    • Justifica o arquivamento com foco em eficiência e performance, pois o excesso de dados prejudica a velocidade das operações de serviço.

 

 

  1. Processo de Gestão do Ciclo de Vida do Dado na ServiceNow (DVM)

Para lidar com um excesso significativo, a estratégia deve ser rigorosa:

  1. Análise de Retenção e Destruição: Identificar rigorosamente quais dados não são necessários para a retenção de 7 anos e podem ser destruídos de forma segura.
  2. Exportação Programada (Off-Boarding😞 Para dados brutos muito antigos cuja retenção legal é obrigatória, mas cujo custo na instância é proibitivo, pode-se exportar o dado bruto via Table API ou Exportação Programada para FTP para um repositório de dados externo de baixo custo.
  3. Decisão de Custo: A gestão precisa ponderar se o custo da governança (limpeza, arquivamento e possível exportação) é menor do que o custo de pagar o aditivo à ServiceNow por esse volume excedente.

 

A estratégia de DVM (Data Volume Management) deve envolver dois caminhos técnicos distintos, que são o arquivamento nativo e a destruição/exportação:

  1. A) Arquivamento Nativo (Retenção Interna e Performance)

Esta é a abordagem padrão e mais segura para manter os dados acessíveis para auditoria e reporting interno, ao mesmo tempo que desonera as tabelas de produção.

  1. Criação de Regra de Arquivamento: O administrador define uma regra específica para uma tabela (ex: incident) e a configura para mover registros que atendam a critérios como: Status = Fechado e Data de Fechamento > 365 dias.
  2. Execução do Arquivamento: O sistema move os dados da tabela original para uma tabela espelho (ar_incident, por exemplo).
  3. Acesso Auditável: Os usuários ainda podem consultar os dados arquivados através de módulos e relatórios específicos, garantindo o requisito de retenção de 7 anos para auditoria.
  1. B) Estratégias de Destruição e Exportação (Off-Boarding)

Quando a retenção por 7 anos exige que o dado seja mantido, mas o custo para mantê-lo ativo na instância ServiceNow é proibitivo (como a situação de 7TB), a estratégia é o off-boarding para um sistema externo de baixo custo.

Método

Propósito

Como é Feito na ServiceNow

Risco/Cuidado

1. Exportação Programada

Mover dados históricos para um Data Warehouse ou Repositório (Ex: Nuvem, FTP) para retenção de 7 anos.

Uso de Exportação Programada (Scheduled Exports) ou consumo via Table API por um sistema externo.

O repositório de destino deve ter seus próprios controles de segurança e auditoria rigorosos.

2. Destruição de Dados

Remover permanentemente dados que não possuem mais valor de negócio ou obrigação legal (ex: logs de debug antigos).

Uso de Regras de Destruição de Dados (Data Destruction) no módulo de Arquivamento, configurando um prazo final de vida para o registro arquivado.

Deve ser usado apenas após confirmação legal de que o dado não é mais exigido pela LGPD/Auditoria.

 

 

Conclusão: A Governança de Dados como Prioridade Financeira e Legal

O problema de volume de dados é, no fundo, um problema de governança de custo e conformidade. A solução de Data Archiving e a definição de uma política de retenção clara baseada em regulamentações (LGPD, BACEN) são os únicos caminhos para:

  1. Garantir a performance da instância.
  2. Proteger-se contra multas contratuais por excesso de uso.
  3. Manter a conformidade com as regras de auditoria que exigem a retenção de dados por longos períodos.

Um inventário de dados e uma gestão rigorosa são indispensáveis para manter as instâncias saudáveis e financeiramente viáveis.

 

 

tiagomacul_0-1764885346615.jpeg

 

 

 

 

tiagomacul_1-1764885346637.jpeg

 

 

 

 

tiagomacul_2-1764885357825.png

 

 

Version history
Last update:
23m ago
Updated by:
Contributors