ONS cria Data Lake na AWS para apoio ao planejamento da carga global do Brasil

O Operador Nacional do Sistema Elétrico (ONS) é o órgão responsável pela coordenação e controle da operação das instalações de geração e transmissão de energia elétrica no Sistema Interligado Nacional (SIN) e pelo planejamento da operação dos sistemas isolados do país, sob a fiscalização e regulação da Agência Nacional de Energia Elétrica (Aneel). Para isso, o ONS desenvolve uma série de estudos e ações exercidas sobre o SIN (Sistema Interligado Nacional) e seus agentes proprietários para gerenciar as diferentes fontes de energia e a rede de transmissão, de forma a garantir a continuidade, economicidade e segurança do suprimento em todo o país. Para dar ainda mais acuracidade aos processos de previsão de carga global para o planejamento e programação da operação, em 2018 a instituição definiu sua nova arquitetura de dados, que contemplava um Data Lake na AWS. Esta estratégia permitiu centralizar os dados em um único repositório e, ao mesmo tempo, habilitou tecnicamente as áreas de negócio para criar seus próprios modelos estatísticos e de machine learning, bem como painéis de visualização, dentro de uma visão de democratização de acesso aos dados.

O Operador Nacional do Sistema Elétrico (ONS) é o órgão responsável pela coordenação e controle da operação das instalações de geração e transmissão de energia elétrica em todo o país. O engenheiro e responsável pelo projeto da nova arquitetura de dados, Sérgio Mafra, explica que o trabalho do órgão permite coordenar todo o sistema elétrico brasileiro, que é totalmente interligado. “Conseguimos pegar a grandes blocos de energia gerada em uma parte do Brasil e transportar para outro lugar que esteja precisando. Isso nos dá flexibilidade para lidar com questões climáticas nas diferentes regiões”, explica.

Ele lembra que o ONS nasceu da reestruturação do setor elétrico, em 1998, dentro de um modelo que atendesse interesses privados e públicos para a o planejamento e operação do SIN, papel anteriormente exercido pela Eletrobras. “Fazemos a parte de engenharia. Olhamos para o Brasil e fazemos o planejamento de como atender a demanda energética, dentro de um plano que engloba desde o dia seguinte, até cinco anos à frente. Diariamente são realizados estudos que envolvem vários processos dentro da organização e que englobam tanto estudos elétricos quanto energéticos, considerando a geração de todas as fontes de energia: hidrelétricas, térmicas, nucleares, fotovoltaicas e eólicas. Nestes processos existe uma série de elementos com suas peculiaridades”, diz.

A partir desses estudos, o ONS define o quanto deve ser gerado de energia, e quais usinas devem ser despachadas de forma a otimizar recursos e minimizar o custo. Estes fatores são analisados, dentro do uso de modelos matemáticos, para definir a ordem de mérito em que cada fonte energética será utilizada. Uma vez definido o plano, ele é enviado aos quatro centros de controle do Brasil para realizar a efetiva operação do sistema elétrico brasileiro. Estes centros estão localizados no Rio de Janeiro (Sudeste), Recife (Nordeste), Brasília (Norte/Centro-Oeste e visão Brasil) e Florianópolis (Sul) e, com base nessas informações, vão organizar a distribuição de geração e transmissão da energia pelo Brasil.

“Para que tudo isso funcione, nós trabalhamos com dados que recebemos das empresas do setor elétrico e de provedores externos. Processamos estes dados e vamos tomando as decisões necessárias para manter o sistema funcionando. Somos uma empresa orientada a inteligência e dados. Há muito tempo estamos trabalhando para incorporar essa cultura data driven, um dos pilares da nossa jornada rumo a Transformação Digital, que faz parte do Planejamento Estratégico do ONS.”, explica Mafra.

O engenheiro lembra também que, para executar as visões de futuro, o órgão trabalha com modelos matemáticos que recebem uma série de insumos, tais como previsões econômicas, previsões de clima, situação das usinas, consumo interno etc. Todos estes dados são processados para criar os cenários com os quais o órgão vai trabalhar, incluindo também a interação com a Aneel (Agência Nacional de Energia Elétrica), para ações licitatórias para aumento da capacidade de geração e transmissão, feitas a partir de estudos de reforços também realizados pelo ONS.

Centralizar estes dados, facilitando e agilizando sua análise e processamento era um dos grandes desafios enfrentados pela ONS. “Tínhamos muitos dados espalhados pela organização e ainda temos muitos desafios. Queríamos pegar os dados espalhados por vários silos dentro de nossas áreas de negócios, centralizá-los e oferecer como produtos para consumo”, lembra Sérgio Mafra.

O caminho escolhido foi a construção de um Data Lake em nuvem que permitisse, além da centralização e armazenamento de grandes volumes, o processamento massivo destes dados. De acordo com Mafra, esse processo começou em 2018, quando o time de arquitetura decidiu revisar a arquitetura de dados vigente, com o objetivo de criar modelos mais adequados ao desafio de Big Data, dentro do planejamento estratégico da empresa. “Vimos que precisávamos ter uma visão desacoplada de armazenamento e processamento, permitindo assim, atender com flexibilidade e escalabilidade, os requisitos de processamento de dados corporativos e em tempo real.”, explica.

Uma equipe multidisciplinar da TI foi então montada para entregar a solução para o cálculo da carga global, com dados oriundos dos agentes e do ONS. O desafio era montar um sistema de aplicação que pudesse efetuar trocas de dados com barramento de informações, um Data Lake, um servidor FTP que aquisita dados externos e um integrador que captura os dados das bases corporativas. “A complexidade era integrar todos esses componentes e orquestrá-los, garantindo a entrega e o processamento dos dados de forma precisa e no momento certo”, conta Elvis Galiza, gerente do projeto Sistema de Apuração da Carga Global - SACG.

Considerando os diversos provedores de dados para o sistema - muitas vezes com informações de mesma natureza em tempos diferentes - tornou-se de extrema necessidade a rastreabilidade e vigência de cada registro. A impossibilidade de atualização e exclusão física de registros no Data Lake foi outro ponto que teve que ser contornado pela modelagem, assim como o fato de que a estrutura de dados a ser montada passaria a ser de uso corporativo e não exclusividade do projeto SACG. “Tivemos que evoluir nosso método de documentação original e executar alguns ajustes na modelagem convencional, para podermos ter também todos os metadados das informações armazenadas no Data Lake devidamente registrados e integrados ao nosso catálogo de dados", diz Carlos Alberto Rodrigues Alves, Administrador dos Modelos de Dados do ONS.

O ambiente de dados construído irá permitir que sejam elaborados e implementados modelos estatísticos e de machine learning pelos profissionais que tem o domínio do negócio e são habilitados pela área de TI. "Os modelos de Previsão de Carga foram protagonistas na utilização do Amazon Elastic Container Service (Amazon ECS) e do Amazon SageMaker na organização,  utilizando o Data Lake como armazenador de insumos e resultados dos modelos executados via Amazon ECS, permitindo atender mais rapidamente o nosso ciclo de planejamento da operação do sistema elétrico", comenta Gabriel Gonçalves, Engenheiro de Previsão e Acompanhamento da Carga.

Mafra ressalta que além da necessidade de agregar todos os dados, deveria contar com uma vasta capacidade de armazenamento, processamento muito rápido e o suporte de profissionais especializados para garantir a correta implementação. “Era o que precisávamos para deixar as informações disponíveis para nossos profissionais e processos internos e a AWS nos ofereceu seu ecossistema de soluções de dados e inovação”, afirma.

O projeto começou a ser colocado em operação em 2020 e hoje o ONS conta com um ambiente em que todas estas informações são processadas. A construção do Data Lake tem possibilitado, inclusive, o ciclo de machine learning, dentro do modelo preconizado pelo Gartner, denominado Citizens Data Science. “Hoje oferecemos nosso conhecimento para alavancar as áreas de negócios construírem seus modelos. Com o Amazon SageMaker, por exemplo, estas áreas poderão fazer seus próprios modelos, de forma que no final tenhamos mais expertise e uma grande biblioteca de modelos, organizada e dentro das melhores práticas”, prevê.

Mafra explica que a arquitetura desenvolvida pelo time e implementada com o suporte de AWS Professional Services, criou um mecanismo em que os dados recebidos são armazenados onde fazem mais sentido, respeitando a sua vocação. “É um processo de arquitetura que construímos e estamos evoluindo, permitindo que o consumo na ponta possa ser mais bem organizado, seja usando uma estrutura de data warehouse, de grafo, time series ou chave-valor”, diz. Segundo o engenheiro, o processo de preparação dos times internos envolve a realização de webinars com as áreas de negócio, para que todos os envolvidos entendam como fazer uso do Data Lake, que hoje tem a seguinte arquitetura: 

Segundo Mafra, os dados disponíveis possibilitarão que todas as áreas do ONS possam tomar decisões mais rapidamente. “Esse ambiente teve sua implementação concluída recentemente, com o apoio da AWS Professional Services e dos seus parceiros Solvimm e Tenbu. Em 2021, teremos um modelo de preço horário, que está fazendo a nossa organização usar “clock” mais rápido, usando um volume maior de informações dentro de um ciclo de tempo muito menor”, afirma.

A solução adotada na AWS permite a integração, flexibilidade, capacidade e principalmente a inovação constante em seus serviços, abstraindo da complexidade e operação de tecnologias de ponta, dentro de um custo compatível.

Com apoio das tecnologias da AWS e Professional Services e também usando a visão de Citizen Data Science, o ONS está criando um novo ambiente com uso de carga global, por meio do Data Lake e a disponibilização para uso em diferentes modelos de ML através do Amazon SageMaker, fornecendo para o time de engenheiros, dados e tecnologia para habilitação de novos modelos necessários para realizar a cadeia de informações fundamental para o ONS desempenhar a sua função, colocando o ONS em um novo patamar de uma empresa inovadora e protagonista do setor elétrico brasileiro.

A equipe também está trabalhando no PDTE (Plano de Desenvolvimento Tecnológico do Setor de Energia) com melhorias dos modelos matemáticos e modelagem de dados com melhores práticas.