Conceitos básicos do Amazon Managed Service for Apache Flink
Por que usar o Amazon Managed Service for Apache Flink?
Com o Amazon Managed Service for Apache Flink, é possível transformar e analisar dados de transmissão em tempo real usando o Apache Flink. O Amazon Managed Service for Apache Flink simplifica a criação e o gerenciamento de workloads do Apache Flink e permite integrar as aplicações com outros serviços da AWS.
Crie aplicações de transmissão com o Apache Flink e o Apache Beam
Etapa 1: baixe as bibliotecas de código aberto para o IDE de sua preferência
Você pode começar baixando as bibliotecas de código aberto que incluem o AWS SDK, o Apache Flink e os conectores de serviços da AWS.
Etapa 2: criar uma aplicação de teste no Apache Flink ou no Apache Beam
Você escreve o código da aplicação Apache Flink usando fluxos de dados e operadores de fluxo. Os fluxos de dados da aplicação são a estrutura de dados que são executadas durante o processamento usando o código da aplicação. Os dados fluem continuamente das fontes para os fluxos de dados da aplicação. Um ou mais operadores de fluxo são usados para definir seu processamento nos fluxos de dados da aplicação.
Etapa 3: carregue o código no Amazon Managed Service for Apache Flink
Depois de criado, carregue o código para o Amazon Managed Service for Apache Flink. O serviço se encarregará de tudo o que é necessário para executar continuamente as aplicações em tempo real, inclusive fazer ajuste de escala automático para atender ao volume e ao throughput dos dados recebidos.
Use intuitivamente o Amazon Managed Service for Apache Flink Studio
Etapa 1: crie uma aplicação do Amazon Managed Service for Apache Flink Studio
Comece pelo console do Amazon Managed Service for Apache Flink, Amazon MSK ou Amazon Kinesis Data Streams. Use conectores personalizados para se conectar a qualquer outra fonte de dados.
Etapa 2: grave código no caderno sem servidor em SQL, Python e Scala e desenvolva aplicações do Apache Flink
Execute parágrafos individuais no caderno, visualize os resultados em contexto e use a visualização integrada do Apache Zeppelin para acelerar o desenvolvimento. Você também pode usar funções definidas pelo usuário em seu código.
Etapa 3: crie e implante como uma aplicação de transmissão do Amazon Managed Service for Apache Flink
Implante seu código como uma aplicação de processamento de fluxos em execução contínua em poucas etapas. A aplicação implantada será uma aplicação do Amazon Managed Service for Apache Flink com estado durável e ajuste de escala automático. Você também poderá alterar fontes, destinos, registros em log e níveis de monitoramento antes de produzir o código.