Importante: esta orientação exige o uso do Amazon Forecast, que não está mais disponível para novos clientes. Os clientes existentes do Amazon Forecast podem continuar usando e implantando esta orientação normalmente.
Esta orientação ajuda as empresas de serviços públicos a ingerir dados dos Meter Data Management Systems (MDMS) ou diretamente dos Head End Systems (HES) e a combiná-los com outras fontes de dados, incluindo dados do sistema de informações meteorológicas e geográficas (GIS). As empresas de serviços públicos poderão detectar anomalias do medidor e do circuito de distribuição, executar o balanceamento de circuitos, impedir o roubo de energia, prever a demanda e aprimorar o envolvimento do cliente com análises proativas e previsões baseadas em inteligência artificial e machine learning (IA/ML).
Observação: esta orientação foi atualizada. O diagrama de arquitetura é uma versão aprimorada que implanta automaticamente estes novos atributos: data lake, pipelines de ingestão de dados/ML, componentes de visualização, simulador de MDMS/HES e teste de carga aprimorado. A amostra de código também foi atualizado com as novas funcionalidades.
Diagrama da arquitetura
[texto]
Etapa 1
Escolha entre várias ferramentas da AWS para ingerir dados de clientes e medidores, como AWS Lambda para adaptadores personalizados, AWS SFTP e AWS Storage Gateway para processamento em lote e Amazon Kinesis, Amazon Simple Notification Service (Amazon SNS) e Amazon Simple Queue Service (Amazon SQS) para streaming de dados.
Etapa 2
Use o Amazon Timestream para armazenar dados de séries temporais, o AWS Glue e o Amazon EMR para processar dados e o Amazon Simple Storage Service (Amazon S3) para dados brutos e armazenamento de arquivos. Os dados de séries temporais podem ser enviados diretamente para serviços analíticos, como o Amazon EMR e Amazon Athena, para processamento adicional.
Etapa 3
Obtenha dados brutos do bucket do S3 e envie-os para o AWS Glue e o Amazon EMR para automatizar processos de extração, transformação e carregamento (ETL) ou para processamento de valor agregado. Use o Amazon S3 Glacier para cópias de arquivamento e conformidade com a retenção.
Etapa 4
Seus conjuntos de dados finais limpos e selecionados são armazenados em um bucket do S3 dentro de um data lake. Crie um catálogo de metadados com o Catálogo de Dados do AWS Glue para tornar todos os dados visíveis e pesquisáveis. Mantenha os dados seguros com os serviços de Segurança, Identidade e Conformidade da AWS.
Etapa 5
Execute análises complexas com o Amazon EMR. Realize uma única descoberta e consulta de dados em seu data lake e warehouse com o Athena.
Etapa 6
Consulte petabytes de dados estruturados, de séries temporais e semiestruturados usando SQL padrão com o Amazon Redshift.
Etapa 7
Crie e publique painéis interativos que incluem insights de IA/ML com o Amazon QuickSight ou o Amazon Managed Grafana.
Etapa 8
Use o Amazon SageMaker, o Amazon Forecast e o Amazon Personalize para detectar anomalias na rede, prever o uso de energia e prever falhas no equipamento.
O Amazon Pinpoint permite que você se comunique com os clientes e avalie o engajamento do cliente. Combine análises e resultados de ML com o Amazon Pinpoint para criar campanhas e segmentos-alvo personalizados.
Etapa 1
Escolha entre várias ferramentas da AWS para ingerir dados de clientes e medidores, como AWS Lambda para adaptadores personalizados, AWS SFTP e AWS Storage Gateway para processamento em lote e Amazon Kinesis, Amazon Simple Notification Service (Amazon SNS) e Amazon Simple Queue Service (Amazon SQS) para streaming de dados.
Etapa 2
Use o Amazon Timestream para armazenar dados de séries temporais, o AWS Glue e o Amazon EMR para processar dados e o Amazon Simple Storage Service (Amazon S3) para dados brutos e armazenamento de arquivos. Os dados de séries temporais podem ser enviados diretamente para serviços analíticos, como o Amazon EMR e Amazon Athena, para processamento adicional.
Etapa 3
Obtenha dados brutos do bucket do S3 e envie-os para o AWS Glue e o Amazon EMR para automatizar processos de extração, transformação e carregamento (ETL) ou para processamento de valor agregado. Use o Amazon S3 Glacier para cópias de arquivamento e conformidade com a retenção.
Etapa 4
Seus conjuntos de dados finais limpos e selecionados são armazenados em um bucket do S3 dentro de um data lake. Crie um catálogo de metadados com o Catálogo de Dados do AWS Glue para tornar todos os dados visíveis e pesquisáveis. Mantenha os dados seguros com os serviços de Segurança, Identidade e Conformidade da AWS.
Etapa 5
Execute análises complexas com o Amazon EMR. Realize uma única descoberta e consulta de dados em seu data lake e warehouse com o Athena.
Etapa 6
Consulte petabytes de dados estruturados, de séries temporais e semiestruturados usando SQL padrão com o Amazon Redshift.
Etapa 7
Crie e publique painéis interativos que incluem insights de IA/ML com o Amazon QuickSight ou o Amazon Managed Grafana.
Etapa 8
Use o Amazon SageMaker, o Amazon Forecast e o Amazon Personalize para detectar anomalias na rede, prever o uso de energia e prever falhas no equipamento.
O Amazon Pinpoint permite que você se comunique com os clientes e avalie o engajamento do cliente. Combine análises e resultados de ML com o Amazon Pinpoint para criar campanhas e segmentos-alvo personalizados.
Pilares do Well-Architected
O AWS Well-Architected Framework ajuda a entender as vantagens e as desvantagens das decisões tomadas durante a criação de sistemas na nuvem. Os seis pilares do Framework permitem que você aprenda as melhores práticas de arquitetura, a fim de projetar e operar sistemas confiáveis, seguros, eficientes, econômicos e sustentáveis. Com a Ferramenta AWS Well-Architected, disponível gratuitamente no Console de Gerenciamento da AWS, você pode avaliar suas workloads em relação às práticas recomendadas ao responder a uma série de questões para cada pilar.
O diagrama de arquitetura acima exemplifica a criação de uma solução pautada nas melhores práticas do Well-Architected. Para ser totalmente Well-Architected, é preciso respeitar a maior quantidade possível das melhores práticas desse framework.
-
Excelência operacionalLeia o whitepaper sobre excelência operacional
O AWS Glue e o Athena organizam dados e monitoram o acesso aos dados. Você pode analisar ainda mais os dados com painéis, relatórios e notificações no QuickSight e no Amazon Managed Grafana. Você pode acessar esses painéis de qualquer dispositivo e incorporá-los aos seus aplicativos e sites. O AWS CloudFormation gerencia a infraestrutura e a pilha de aplicativos, permitindo que você faça alterações e teste a orientação para diferentes casos de uso.
-
SegurançaLeia o whitepaper de segurança
O catálogo de dados do AWS Glue tem criptografia habilitada. Todos os metadados que o AWS Glue grava no Amazon S3 são criptografados. Recomendamos a criação de funções do AWS Identity and Access Management (IAM) usando o princípio do privilégio mínimo, o que significa conceder a quantidade mínima de acesso necessária para que a função conclua uma ação específica sob condições específicas. Isso concederá acesso aos dados somente aos usuários e recursos necessários.
-
ConfiabilidadeLeia o whitepaper sobre confiabilidade
O AWS Glue, o Amazon S3 e o Athena têm tecnologia sem servidor e escalarão a performance do acesso a dados à medida que o volume de dados aumentar. O AWS Glue provisiona, configura e escala os recursos necessários para executar seus trabalhos de integração dos dados. O Athena consulta seus dados sem que você precise configurar e gerenciar servidores ou data warehouses. O Amazon SNS e o Amazon SQS permitem que você aumente a ingestão de dados sem interrupções.
-
Eficiência de performanceBaixe o whitepaper sobre eficiência de performance
Você pode usar esta orientação com sua própria leitura do medidor e adotá-la conforme suas necessidades. Depois que seus dados são transformados no formato de dados interno (conforme detalhado no Guia de Implementação associado), os recursos de demonstração e o painel funcionam com transparência.
-
Otimização de custosBaixe o whitepaper sobre otimização de custos
Esta orientação usa sempre que possível serviços sem servidor, como Lambda, Athena e Kinesis, para ajudar você a evitar custos iniciais e pagar somente pelos recursos utilizados. Usamos o Amazon EMR de uma forma que não seja sem servidor para controlar e otimizar os nós, tornando-os mais econômicos com base no seu caso de uso.
-
SustentabilidadeLeia o whitepaper sobre sustentabilidade
O S3 Glacier arquiva dados usando armazenamento magnético em vez de memória de estado sólido, ajudando a otimizar seu espaço de armazenamento. O Amazon SNS e o Amazon SQS separam os aplicativos para evitar que os recursos em execução aguardem o carregamento.
Recursos de implementação
Com sua conta da AWS, um guia detalhado é fornecido para experimentação e uso. Cada etapa da criação das orientações, incluindo implantação, uso e limpeza, é examinada para prepará-las para a implantação.
O código de exemplo é um ponto de partida. Ele é validado para o setor, é prescritivo, mas não definitivo, e mostra o que há por trás de tudo para ajudar você a começar.
Aviso de isenção de responsabilidade
O código de exemplo, as bibliotecas de software, as ferramentas de linha de comando, as provas de conceito, os modelos ou outra tecnologia relacionada (incluindo qualquer uma das anteriores fornecidas por nossa equipe) são fornecidos a você como Conteúdo da AWS nos termos do Contrato de Cliente da AWS ou o contrato por escrito pertinente entre você e a AWS (o que for aplicável). Você não deve usar esse Conteúdo da AWS em suas contas de produção, na produção ou em outros dados essenciais. Você é responsável por testar, proteger e otimizar o Conteúdo da AWS, como código de exemplo, conforme apropriado para uso em nível de produção com base em suas práticas e padrões específicos de controle de qualidade. A implantação de Conteúdo da AWS pode gerar cobranças da AWS para criar ou usar recursos cobráveis, como executar instâncias do Amazon EC2 ou usar armazenamento do Amazon S3.
As referências a serviços ou organizações terceirizadas nesta orientação não implicam em endosso, patrocínio ou afiliação entre a Amazon ou a AWS e terceiros. A orientação da AWS é um ponto de partida técnico, e você pode personalizar sua integração com serviços de terceiros ao implantar a arquitetura.