Evite consultas sem controle e aprimore a resiliência de consultas a interrupções de instâncias spot com o PrestoDB e o Trino no EMR 6.8

O Amazon EMR oferece suporte ao PrestoDB e ao Trino para execução de análises interativas em SQL de grandes conjuntos de dados em diversas fontes de dados. Hoje, temos o prazer de anunciar as mais recentes atualizações do PrestoDB e Trino incluídas no EMR versão 6.8.

Com o PrestoDB e o Trino no EMR 6.8, os usuários se beneficiam com uma configuração chamada “modo restrito”, que evita custos excessivos causados por consultas de longa execução. Segundo nossos clientes, consultas SQL mal codificadas podem ocasionalmente executar por longos períodos, consumindo recursos usados por outras workloads essenciais aos negócios. Para ajudar os administradores a tomar medidas em relação a essas consultas, estamos introduzindo a configuração de modo restrito. Nesse modo, a tentativa de execução de um determinado tipo de consultas gera um alerta ou é rejeitada. Entre os exemplos, estão consultas sem predicados ou colunas particionadas que resultam em amplas varreduras de tabelas, consultas que envolvem associação de grandes tabelas e/ou consultas que ordenam um grande número de linhas, sem limite. Você pode configurar o modo restrito durante a criação de clusters e também substituir a configuração com propriedades da sessão. Você pode aplicar verificações de modo restrito para os tipos de consulta select, insert, create table as select e explain analyze.

Além disso, temos o prazer de anunciar a adição de novos recursos ao Amazon EMR PrestoDB e ao Trino para administrar interrupções de instâncias spot, ajudando a executar consultas de forma eficaz e confiável. Para o Amazon EMR, as instâncias spot permitem executar workloads de big data usado capacidade ociosa do Amazon EC2 por um custo reduzido em relação às instâncias sob demanda. No entanto, o Amazon EC2 pode interromper as instâncias spot enviando uma notificação com dois minutos de antecedência. Quando os nós de instâncias spot são encerrados, as consultas do PrestoDB/Trino falham. Essas interrupções significavam que os clientes não podiam executar essas workloads em instâncias spot para aproveitar os custos reduzidos. No EMR 6.7, adicionamos ao mecanismo do PrestoDB/Trino um novo recurso para detectar interrupções de instâncias spot e determinar se as consultas existentes podem ser concluídas em até dois minutos nesses nós. As consultas que não seriam concluídas são canceladas rapidamente e uma nova tentativa de execução é realizada em outros nós. O mecanismo do PrestoDB/Trino do Amazon EMR também não agenda novas consultas em nós de instâncias spot que estão prestes a serem interrompidos. Com esses dois novos recursos, você aproveita o melhor de dois mundos: maior resiliência com o mecanismo do PrestoDB/Trino no Amazon EMR e execução econômica de consultas em nós de instâncias spot.

Você pode usar esses recursos em todas as regiões em que o PrestoDB e o Trino do Amazon EMR estão disponíveis. Para saber mais, consulte a seção sobre Presto e Trino no Guia de versão do Amazon EMR.