O que é aumento de dados?
O aumento de dados é o processo de gerar artificialmente novos dados a partir de dados existentes, principalmente para treinar novos modelos de machine learning (ML). Os modelos de ML exigem conjuntos de dados grandes e variados para o treinamento inicial, mas o fornecimento de conjuntos de dados reais suficientemente diversos pode ser um desafio devido a silos de dados, regulamentações e outras limitações. O aumento de dados aumenta artificialmente o conjunto de dados fazendo pequenas alterações nos dados originais. As soluções de inteligência artificial generativa (IA) agora estão sendo usadas para aumento rápido e de alta qualidade de dados em vários setores.
Por que o aumento de dados é importante?
Os modelos de aprendizado profundo dependem de grandes volumes de dados diversos para desenvolver previsões precisas em vários contextos. O aumento de dados complementa a criação de variações de dados que podem ajudar um modelo a melhorar a precisão de suas previsões. Dados aumentados são vitais no treinamento.
Aqui estão alguns dos benefícios do aumento de dados.
Performance aprimorado do modelo
As técnicas de aumento de dados ajudam a enriquecer os conjuntos de dados criando muitas variações dos dados existentes. Isso fornece um conjunto de dados maior para treinamento e permite que um modelo encontre atributos mais diversos. Os dados aumentados ajudam o modelo a se generalizar melhor para dados invisíveis e a melhorar sua performance geral em ambientes reais.
Dependência de dados reduzida
A coleta e a preparação de grandes volumes de dados para treinamento podem ser caras e demoradas. As técnicas de aumento de dados aumentam a eficácia de conjuntos de dados menores, reduzindo consideravelmente a dependência de grandes conjuntos de dados em ambientes de treinamento. Você pode usar conjuntos de dados menores para complementar o conjunto com pontos de dados sintéticos.
Reduza o ajuste excessivo nos dados de treinamento
O aumento de dados ajuda a evitar sobreajustes ao treinar modelos de ML. O ajuste excessivo é o comportamento indesejável de ML em que um modelo pode fornecer previsões precisas para dados de treinamento, mas tem dificuldades com novos dados. Se um modelo for treinado somente com um conjunto de dados restrito, ele poderá se tornar superajustado e fornecer previsões relacionadas somente a esse tipo de dados específico. Por outro lado, o aumento de dados fornece um conjunto de dados muito maior e mais abrangente para treinamento de modelos. Isso faz com que os conjuntos de treinamento pareçam exclusivos das redes neurais profundas, impedindo que elas aprendam a trabalhar apenas com características específicas.
Privacidade de dados aprimorada
Se você precisar treinar um modelo de aprendizado profundo em dados confidenciais, poderá usar técnicas de aumento nos dados existentes para criar dados sintéticos. Esses dados aumentados retêm as propriedades estatísticas e os pesos dos dados de entrada, ao mesmo tempo que protegem e limitam o acesso ao original.
Quais são os casos de uso do aumento de dados?
O aumento de dados oferece várias aplicações em vários setores, melhorando a performance dos modelos de ML em vários setores.
Saúde
O aumento de dados é uma tecnologia útil em imagens médicas porque ajuda a melhorar os modelos de diagnóstico que detectam, reconhecem e diagnosticam doenças com base em imagens. A criação de uma imagem aumentada fornece mais dados de treinamento para modelos, especialmente para doenças raras que não têm variações nos dados de origem. A produção e o uso de dados sintéticos de pacientes promovem a pesquisa médica, respeitando todas as considerações de privacidade de dados.
Finanças
O aumento ajuda a produzir instâncias sintéticas de fraude, permitindo que os modelos sejam treinados para detectar fraudes com mais precisão em cenários do mundo real. Conjuntos maiores de dados de treinamento ajudam em cenários de avaliação de risco, aprimorando o potencial dos modelos de aprendizado profundo para avaliar riscos com precisão e prever tendências futuras.
Manufatura
O setor de manufatura usa modelos de ML para identificar defeitos visuais nos produtos. Ao complementar os dados do mundo real com imagens aumentadas, os modelos podem melhorar seus recursos de reconhecimento de imagem e localizar possíveis defeitos. Essa estratégia também reduz a probabilidade de enviar um projeto danificado ou defeituoso para fábricas e linhas de produção.
Varejo
Os ambientes de varejo usam modelos para identificar produtos e atribuí-los a categorias com base em fatores visuais. O aumento de dados pode produzir variações sintéticas de dados das imagens do produto, criando um conjunto de treinamento que tem mais variação em termos de condições de iluminação, planos de fundo da imagem e ângulos do produto.
Como funciona o aumento de dados?
O aumento de dados transforma, edita ou modifica os dados existentes para criar variações. A seguir está uma breve visão geral do processo.
Exploração do conjunto de dados
O primeiro estágio do aumento de dados é analisar um conjunto de dados existente e entender suas características. Atributos como o tamanho das imagens de entrada, a distribuição dos dados ou a estrutura do texto fornecem mais contexto para aumento.
Você pode selecionar diferentes técnicas de aumento de dados com base no tipo de dados subjacente e nos resultados desejados. Por exemplo, aumentar um conjunto de dados com muitas imagens inclui adicionar ruído a elas, dimensioná-las ou cortá-las. Como alternativa, aumentar um conjunto de dados de texto para processamento de linguagem natural (PLN) substitui trechos de sinônimos ou paráfrases.
Leia sobre o processamento de linguagem natural
Aumento dos dados existentes
Depois de selecionar a técnica de aumento de dados que funciona melhor para a meta desejada, você começa a aplicar diferentes transformações. Os pontos de dados ou amostras de imagem no conjunto de dados se transformam usando o método de aumento selecionado, fornecendo uma variedade de novas amostras aumentadas.
Durante o processo de aumento, você mantém as mesmas regras de rotulagem para consistência de dados, garantindo que os dados sintéticos incluam os mesmos rótulos correspondentes aos dados de origem.
Normalmente, você examina as imagens sintéticas para determinar se a transformação foi bem-sucedida. Essa etapa adicional conduzida por humanos ajuda a manter a maior qualidade dos dados.
Integre formulários de dados
Em seguida, você combina os novos dados aumentados com os dados originais para produzir um maior conjunto de dados de treinamento para o modelo de ML. Ao treinar o modelo, você usa esse conjunto de dados composto dos dois tipos de dados.
É importante observar que os novos pontos de dados criados pelo aumento de dados sintéticos têm a mesma tendência dos dados de entrada originais. Para evitar que vieses sejam transferidos para seus novos dados, resolva qualquer tendência nos dados de origem antes de iniciar o processo de aumento de dados.
Quais são algumas técnicas de aumento de dados?
As técnicas de aumento de dados variam entre diferentes tipos de dados e contextos de negócios distintos.
Visão por computação
O aumento de dados é uma técnica central nas tarefas de visão computacional. Ele ajuda a criar diversas representações de dados e a lidar com os desequilíbrios de classe em um conjunto de dados de treinamento.
O primeiro uso do aumento na visão computacional é por meio do aumento de posição. Essa estratégia recorta, inverte ou gira uma imagem de entrada para criar imagens aumentadas. O recorte redimensiona a imagem ou recorta uma pequena parte da imagem original para criar uma nova. A transformação de rotação, inversão e redimensionamento alteram o original aleatoriamente com uma determinada probabilidade de fornecer novas imagens.
Outro uso do aumento na visão computacional é o aumento de cores. Essa estratégia ajusta os fatores elementares de uma imagem de treinamento, como brilho, grau de contraste ou saturação. Essas transformações de imagem comuns alteram o equilíbrio de matiz, luz e escuridão e a separação entre as áreas mais claras e escuras de uma imagem para criar imagens aumentadas.
Leia sobre a visão computacional
Aumento de dados de áudio
Arquivos de áudio, como gravações de fala, também são um campo comum em que você pode usar o aumento de dados. As transformações de áudio geralmente incluem a injeção de ruído aleatório ou gaussiano em alguns áudios, o avanço rápido de partes, a alteração da velocidade das peças em uma taxa fixa ou a alteração do tom.
Aumento de dados de texto
O aumento de texto é uma técnica vital de aumento de dados para o PLN e outros setores relacionados a texto do ML. As transformações dos dados de texto incluem embaralhar frases, alterar as posições das palavras, substituir palavras por sinônimos próximos, inserir palavras aleatórias e excluir palavras aleatórias.
Transferência de estilo neural
A transferência de estilo neural é uma forma avançada de aumento de dados que desconstrói imagens em partes menores. Ele usa uma série de camadas convolucionais que separam o estilo e o contexto de uma imagem, produzindo muitas imagens a partir de uma única.
Treinamento adverso
Mudanças no nível do pixel criam um desafio para um modelo de ML. Algumas amostras incluem uma camada de ruído imperceptível sobre uma imagem para testar a capacidade do modelo de perceber a imagem abaixo. Essa estratégia é uma forma preventiva de aumento de dados com foco em possíveis acessos não autorizados no mundo real.
Qual é o papel da IA generativa no aumento de dados?
A IA generativa é essencial no aumento de dados porque facilita a produção de dados sintéticos. Isso ajuda a aumentar a diversidade de dados, simplificar a criação de dados realistas e preservar a privacidade dos dados.
Redes adversárias generativas
As redes adversárias generativas (GAN) são uma estrutura de duas redes neurais centrais que funcionam em oposição. O gerador produz amostras de dados sintéticos e, em seguida, o discriminador distingue entre os dados reais e as amostras sintéticas.
Com o tempo, os GANs melhoram continuamente a saída do gerador, concentrando-se em enganar o discriminador. Os dados que podem enganar o discriminador são considerados dados sintéticos de alta qualidade, fornecendo aumento de dados com amostras altamente confiáveis que imitam de perto a distribuição original dos dados.
Codificadores automáticos variacionais
Os codificadores automáticos variacionais (VAE) são um tipo de rede neural que ajuda a aumentar o tamanho da amostra dos dados principais e reduzir a necessidade de coleta de dados demorada. Os VAEs têm duas redes conectadas: um decodificador e um codificador. O codificador pega imagens de amostra e as traduz em uma representação intermediária. O decodificador pega a representação e recria imagens semelhantes com base na compreensão das amostras iniciais. Os VAEs são úteis porque podem criar dados muito semelhantes aos dados de amostra, ajudando a adicionar variedade e, ao mesmo tempo, manter a distribuição original dos dados.
Como a AWS pode apoiar seus requisitos de aumento de dados?
Os serviços de IA generativa na Amazon Web Services (AWS) são um conjunto de tecnologias que organizações de todos os tamanhos podem usar para criar e escalar aplicações de IA generativa com dados personalizados para casos de uso personalizados. Você pode inovar mais rapidamente com novos recursos, opções de modelos de base (FMs) líderes do setor e a infraestrutura mais econômica. A seguir estão dois exemplos de serviços IA generativa na AWS.
O Amazon Bedrock é um serviço totalmente gerenciado que oferece opções de FMs de alta performance das principais empresas de IA. Você pode integrar e implantar com segurança recursos de IA generativa para aumento de dados sem gerenciar a infraestrutura.
O Amazon Rekognition é um serviço de IA totalmente gerenciado que oferece recursos de visão computacional pré-treinados e personalizáveis para extrair informações e insights das suas imagens e vídeos. O desenvolvimento de um modelo personalizado para analisar imagens é uma tarefa importante que exige tempo, experiência e recursos. Geralmente, são necessárias milhares ou dezenas de milhares de imagens rotuladas à mão para fornecer ao modelo dados suficientes para tomar decisões com precisão.
Com o Amazon Rekognition Custom Labels, vários aumentos de dados são realizados para o treinamento do modelo, incluindo recortes aleatórios da imagem, variação de cores e ruídos gaussianos aleatórios. Em vez de milhares de imagens, você precisa carregar apenas um pequeno conjunto de imagens de treinamento (normalmente algumas centenas ou menos) específicas do seu caso de uso para o console fácil de usar.
Comece a usar o aumento de dados na AWS criando uma conta hoje mesmo.
Próximas etapas na AWS
Obtenha acesso instantâneo ao nível gratuito da AWS.
