Todo modelo de inteligência artificial depende de grandes quantidades de dados para funcionar de forma eficaz. Quanto mais diversificado e abrangente for o conjunto de dados, melhor a IA poderá aprender, se adaptar e executar. Dessa forma, o treinamento de modelos de IA utilizáveis exige quantidades substanciais de dados de alta qualidade, o que pode criar possíveis preocupações. Os dados podem ser difíceis de obter, e os métodos tradicionais de coleta de dados geralmente são demorados, caros e podem até criar problemas relacionados à privacidade e ao preconceito. Para combater esses e outros problemas, as empresas que trabalham com IA estão recorrendo a uma fonte simulada para treinar seus sistemas inteligentes: dados sintéticos.
Os dados sintéticos são informações geradas artificialmente e projetadas para imitar dados do mundo real. Eles oferecem uma solução para muitos dos desafios associados ao uso de dados reais. Ao aproveitar modelos de IA generativa (GenAI) avançada, os dados sintéticos fornecem uma alternativa versátil e ética que pode aprimorar o desenvolvimento da IA sem introduzir os riscos comumente associados ao treinamento de IA.
Antes de mergulhar muito nos detalhes, vale a pena especificar brevemente como os dados sintéticos são diferentes dos dados reais:
- Os dados sintéticos são gerados artificialmente para corresponder às propriedades estatísticas dos dados do mundo real. Eles não incluem pontos de dados reais que se correlacionam com informações do mundo real.
- Os dados reais são coletados de eventos, indivíduos e interações reais; seus pontos de dados contêm informações reais que podem ser de natureza confidencial. .
Ao usar dados sintéticos gerados adequadamente, as empresas podem obter as vantagens de um treinamento abrangente de dados sem o risco de expor dados reais ou incorporar informações tendenciosas ou irrelevantes em seus conjuntos de dados de treinamento.
Os dados simulados têm raízes que remontam à década de 1940, quando as simulações de Monte Carlo foram amplamente usadas no Projeto Manhattan para modelar cenários probabilísticos complexos. Esse trabalho pioneiro preparou o terreno para o uso de dados artificiais para replicar condições do mundo real. Na década de 1990, os dados simulados eram regularmente utilizados em análises estatísticas e computação gráfica, com aplicações em engenharia aeroespacial e automotiva para testar sistemas sob condições hipotéticas variadas.
À medida que a demanda por conjuntos de dados maiores e mais diversificados cresceu ao longo dos anos 2000 e depois, as limitações dos dados reais se tornaram claras. Os pesquisadores recorreram a modelos generativos, como redes adversárias generativas (GANs) e autocodificadores variacionais (VAEs), para produzir dados sintéticos de alta fidelidade aprendendo com amostras de dados reais. Hoje, os dados sintéticos são uma ferramenta essencial para treinar e testar sistemas de IA de maneira controlada, escalável e livre de riscos.
Os dados sintéticos não são uma solução de tudo ou nada; as organizações podem escolher quantos dados sintéticos desejam incluir em seus conjuntos de treinamento. Isso levou a três categorias ou tipos diferentes de entrada de dados sintéticos:
Como o nome sugere, esse tipo de conjunto de dados não usa dados reais, dependendo inteiramente em algoritmos para gerar dados sintéticos com propriedades estatísticas reais. Os dados totalmente sintéticos oferecem a proteção de privacidade mais forte (pois não contêm informações pessoais reais), eliminam os riscos associados ao viés (permitindo a criação de conjuntos de dados projetados para serem justos e representativos) e são altamente flexíveis. Contudo, eles também podem carecer de algumas nuances de dados reais, o que pode afetar potencialmente o desempenho do modelo em aplicações reais.
Essa abordagem substitui apenas alguns recursos confidenciais por valores sintéticos, mantendo partes dos dados reais, equilibrando privacidade e segurança com a retenção de características valiosas de dados reais. Essa abordagem ainda traz um pouco de risco de vazamento de informações e pode não eliminar totalmente os vieses ocultos nos dados reais.
A abordagem híbrida combina dados reais e sintéticos, correspondendo registros de dados reais aleatórios com outros sintéticos semelhantes. Ela oferece uma boa combinação de benefícios, garantindo treinamento abrangente de modelos e aumentando a privacidade. Entretanto, também requer mais tempo de processamento e memória, e gerenciar a integração de dados reais e sintéticos pode ser uma tarefa complexa.
Os dados sintéticos compartilham certas semelhanças com o conceito de dados aumentados, mas há várias distinções importantes:
Os dados aprimorados envolvem o aprimoramento dos conjuntos de dados reais existentes. Esse método expande conjuntos de dados sem gerar dados totalmente novos (como girar ou clarear dados de imagens), o que o torna útil para melhorar o treinamento de IA sem coletar dados reais adicionais. No entanto, ele não aborda preocupações de privacidade ou vieses de dados de forma eficaz e ainda depende de quantidades substanciais de dados do mundo real para funcionar.
Os dados anônimos, por outro lado, removem ou ocultam informações pessoais de conjuntos de dados reais para proteger a privacidade. Embora isso ajude a atender aos requisitos regulatórios e reduza os riscos de privacidade, ainda pode reter vieses subjacentes e pode não remover totalmente todas as informações confidenciais.
Em contraste com essas outras abordagens, os dados sintéticos são gerados inteiramente por algoritmos para imitar as propriedades estatísticas dos dados do mundo real sem usar pontos de dados reais. Essa abordagem oferece proteção de privacidade mais completa e permite a criação de conjuntos de dados diversos e sem viés, adaptados a necessidades específicas. Dessa forma, os dados sintéticos se tornam a solução mais versátil e ética para o treinamento de IA disponível atualmente.
Trabalhar com dados que correspondam às propriedades dos dados reais sem se conectar a fontes reais específicas oferece muitas vantagens. Alguns dos benefícios comerciais mais relevantes são:
Os dados sintéticos são projetados para serem consistentes e livres de erros. Ao eliminar imprecisões e inconsistências encontradas em dados do mundo real, os dados sintéticos garantem entradas de alta qualidade, levando a modelos de IA mais precisos.
Os dados sintéticos eliminam os riscos relacionados a informações pessoais comprometidas. Eles estão em conformidade com as normas de privacidade e reduzem o risco de violações de dados.
Dados sintéticos podem ser gerados em grandes quantidades e muito rapidamente. Essa escalabilidade garante que as organizações possam refinar e melhorar continuamente seus modelos sem as restrições de dados limitados.
Gerar dados sintéticos geralmente é mais barato do que coletar e rotular dados reais, sendo uma opção atraente para organizações que buscam otimizar sua IA dentro dos limites de orçamentos rigorosos.
Dados sintéticos podem ser criados para mitigar e lidar com vieses inerentes aos dados do mundo real. Isso ajuda no desenvolvimento de sistemas de IA mais justos que apresentam desempenho mais equitativo em diferentes grupos demográficos e cenários.
Os dados sintéticos podem ser adaptados a necessidades específicas, garantindo que sejam relevantes e precisos para a aplicação pretendida. A personalização permite a criação de dados que correspondem precisamente aos requisitos de modelos de IA específicos.
Os usuários podem ditar os parâmetros de geração de dados, garantindo que o conjunto de dados atenda a requisitos específicos. Assim, as empresas podem criar dados que atendam com precisão às necessidades do modelo de IA, levando a soluções mais eficazes e direcionadas.
Os dados sintéticos incluem rotulagem inerente, reduzindo a necessidade de anotações manuais. A automação de rotulagem acelera o processo de preparação de dados e reduz os custos de mão de obra.
Os dados sintéticos podem ser produzidos muito mais rápido do que os métodos tradicionais de coleta de dados. Ao acelerar o desenvolvimento e a implantação de modelos de IA, as empresas podem colocar suas soluções de IA totalmente treinadas para funcionar mais rapidamente do que seria possível de outra forma.
Além dos benefícios listados acima, os dados sintéticos oferecem vantagens específicas para modelos de aprendizado de máquina (ML). Ainda mais do que muitas outras abordagens de IA, o aprendizado de máquina depende muito de grandes quantidades de dados de treinamento, dados que podem ser fornecidos mais rapidamente e a um custo mais baixo quando gerados sinteticamente.
Outra área em que os dados sintéticos têm importância especial para o aprendizado de máquina é o desenvolvimento de repositórios de dados para modelos de ML de pré-treinamento, por meio do aprendizado de transferência. Isso envolve reaproveitar dados de treinamento para outras tarefas relacionadas. Os novos modelos de ML podem ganhar vantagem em vez de começar do zero, sendo pré-treinados usando aprendizado de transferência e incorporando dados sintéticos adicionais para ajudar a ajustar seus processos.
Embora os dados sintéticos ofereçam inúmeros benefícios, eles também trazem vários desafios. Para garantir o melhor resultado dos dados sintéticos, esteja ciente dos seguintes obstáculos e como eliminá-los:
Garantir que os dados sintéticos reflitam com precisão as condições do mundo real pode ser difícil. Se os dados gerados não forem confiáveis, isso pode levar a um desempenho ruim do modelo e a previsões imprecisas. As organizações devem usar modelos generativos avançados e validar continuamente os dados sintéticos em relação a conjuntos de dados do mundo real para melhorar sua confiabilidade.
Os dados sintéticos são uma representação de como a organização ou o modelo generativo acredita que os dados devem ser; eles podem não capturar eventos raros ou valores atípicos de forma eficaz. Infelizmente, esses valores discrepantes podem ser cruciais para o treinamento de modelos eficazes, especialmente em áreas como detecção de fraudes. A implementação de técnicas para modelar e incluir especificamente discrepâncias pode ajudar a garantir que elas estejam sendo representados nos conjuntos de dados sintéticos.
A criação de dados sintéticos de alta qualidade exige experiência, tempo e esforço significativos. O desenvolvimento de algoritmos que geram dados realistas envolve compreensão profunda e ajuste cuidadoso, o que pode exigir muitos recursos. Algumas organizações podem não ter os recursos para atender a esses requisitos. Para combater isso, elas devem investir em treinamento para cientistas de dados e usar ferramentas automatizadas para ajudar a simplificar o processo de geração de dados.
Pode haver resistência ao uso de dados sintéticos entre as partes interessadas mais familiarizadas com dados reais. Convencer os usuários da validade e da utilidade dos dados sintéticos requer educação e uma demonstração clara de seus benefícios.
Manter a qualidade e a consistência dos dados sintéticos é essencial. A implementação de processos completos de garantia de qualidade, incluindo auditorias regulares e loops de feedback, pode ajudar as empresas a garantir que seus dados atendam aos padrões exigidos.
Os dados sintéticos podem ser usados em vários formatos, cada um atendendo a diferentes aplicações e necessidades em aprendizado de máquina e desenvolvimento de IA. Alguns exemplos são:
Eles incluem texto gerado sinteticamente usado para treinamento de chatbots de IA, modelos de linguagem e algoritmos de tradução. Ao criar conversas e documentos artificiais, os desenvolvedores podem aprimorar os recursos de processamento de linguagem natural (PLN).
Esse tipo de dados sintéticos consiste em tabelas de dados sintéticos usadas para análise de dados, modelagem financeira e treinamento de aprendizado de máquina. Eles replicam a estrutura e as propriedades estatísticas de conjuntos de dados tabulares do mundo real, tornando-os valiosos para modelagem preditiva e avaliação de riscos.
Os dados de mídia envolvem imagens sintéticas, áudio e vídeo criados usando gráficos de computação e algoritmos de processamento de imagens. São amplamente utilizados em aplicações como visão computacional, reconhecimento de imagem e treinamento de sistemas autônomos.
Os dados não estruturados abrangem uma variedade de tipos de dados, incluindo texto, imagens, vídeo e áudio que não seguem um formato predefinido. Os dados não estruturados sintéticos são particularmente úteis para treinar modelos de IA em áreas como visão computacional, reconhecimento de fala e compreensão de linguagem natural, em que o sistema deverá ser capaz de encontrar padrões em conjuntos de dados aparentemente aleatórios.
Os dados sintéticos já estão sendo empregados em todos os setores em todo o mundo, oferecendo soluções para vários desafios de treinamento em IA. A seguir estão alguns dos casos de uso mais impactantes de dados sintéticos:
O uso de dados sintéticos permite a criação de grandes conjuntos de dados para treinamento de modelos de IA em diagnósticos médicos, pesquisa e planejamento de tratamentos, ao mesmo tempo em que protege a tão necessária confidencialidade dos pacientes do mundo real.
O uso de conjuntos de dados artificiais protege a privacidade individual e viabiliza informações orientadas por dados. Assim, as organizações podem garantir a conformidade com leis, regulamentos e políticas de privacidade de dados.
Os bancos e outras organizações financeiras usam dados sintéticos para detecção de fraudes, gestão de riscos e desenvolvimento de modelos de risco de crédito.
Os dados sintéticos são usados para simular e treinar veículos autônomos, aumentando sua segurança e eficiência, fornecendo diversos cenários de condução sem riscos de testes reais.
Os modelos treinados em dados sintéticos podem simular desastres naturais e avaliar riscos bem antes que eles ocorram, ajudando na preparação para desastres e informando estratégias de mitigação.
Cenários de teste realistas podem ser criados usando dados sintéticos, permitindo que os desenvolvedores de software testem e melhorem aplicativos sem depender de dados reais de produção.
Varejistas de todos os tipos utilizam dados sintéticos para otimizar a gestão de inventário, analisar o comportamento do cliente e personalizar estratégias de marketing para melhorar a segmentação. Os dados sintéticos também ajudam a melhorar os sistemas de recomendação e prever tendências de vendas.
Eles ajudam na agricultura de precisão simulando padrões de crescimento das culturas, impactos climáticos e infestações de pragas para melhorar a produtividade e a gestão de recursos. Os dados sintéticos na visão computacional melhoram a capacidade da IA de identificar vários tipos de plantas e sementes para uso em modelos de crescimento e detecção de doenças nas culturas.
Os dados sintéticos são usados para simular processos de produção, otimizar operações e prever necessidades de manutenção de equipamentos, melhorando a eficiência e reduzindo o tempo de inatividade nas empresas de fabricação.
O processo de geração de dados sintéticos varia de acordo com as ferramentas, algoritmos e casos de uso específicos envolvidos. Veja três técnicas comuns usadas para criar dados sintéticos:
Esse método envolve selecionar aleatoriamente números de uma distribuição predefinida, como distribuições gaussianas ou uniformes. Em geral, ele não captura as mesmas complexidades dos dados do mundo real, mas oferece uma maneira básica de gerar dados com propriedades estatísticas semelhantes, úteis para testes de modelos iniciais e simulações simples.
Essa técnica simula interações entre agentes autônomos dentro de um sistema, como pessoas, telefones celulares ou programas de computador. Cada agente opera com base em regras predefinidas e pode interagir com outros agentes, permitindo que os pesquisadores estudem sistemas e comportamentos complexos.
Algoritmos avançados, como modelos de difusão, geram dados sintéticos aprendendo as propriedades estatísticas de conjuntos de dados do mundo real. Esses modelos treinam dados reais para entender padrões e relacionamentos, permitindo que criem dados novos e semelhantes. Os modelos de difusão são altamente eficazes na produção de conjuntos de dados sintéticos realistas e de alta qualidade, o que os torna valiosos para treinamento e teste de modelos de IA.
Quando se trata de dados de treinamento de IA, às vezes o "real" não é a melhor opção. Os dados sintéticos oferecem escalabilidade aprimorada, qualidade dos dados, redução de viés e economia, tudo isso enquanto espelham as propriedades (mas não os detalhes confidenciais) de pontos de dados reais. Isso os tornam um ativo inestimável para empresas que buscam aproveitar recursos avançados de IA.
A ServiceNow está na vanguarda da aplicação de soluções de IA às necessidades de negócios, oferecendo um conjunto abrangente de recursos de IA por meio da poderosa ServiceNow AI Platform. Ao incorporar o que há de mais recente em tecnologia de IA, incluindo estruturas de aprendizado de máquina, processamento de linguagem natural, análise preditiva e muito mais, a ServiceNow capacita as organizações a adotar uma abordagem mais inteligente e autônoma para os negócios. E, com os abrangentes recursos de IA generativa da ServiceNow por meio do ServiceNow Otto, você terá tudo o que precisa para criar os dados que guiarão seus sistemas de IA. Veja uma demonstração da ServiceNow hoje para saber mais!
