Vermeide ausufernde Abfragen und verbessere die Ausfallsicherheit von Abfragen zur Erkennung von Unterbrechungen mithilfe von PrestoDB und Trino auf EMR 6.8

Amazon EMR unterstützt PrestoDB und Trino zur Ausführung interaktiver SQL-Analysen über große Datensätze und mehrere Datenquellen. Wir freuen uns, heute die neuesten PrestoDB- und Trino-Updates bekannt geben zu können, die in der EMR-Version 6.8 enthalten sind.

Mit PrestoDB und Trino auf EMR 6.8 profitieren die Benutzer von einer Konfigurationseinstellung, dem so genannten Strict Mode, der Kostenüberschreitungen durch lang laufende Abfragen verhindert. Kunden haben uns mitgeteilt, dass schlecht geschriebene SQL-Abfragen manchmal lange laufen und Ressourcen von anderen geschäftskritischen Workloads verbrauchen. Um Administratoren zu helfen, auf solche Abfragen zu reagieren, führen wir die Einstellung Strict Mode ein, die eine Warnung oder Ablehnung bei bestimmten Arten von Abfragen ermöglicht. Beispiele dafür sind Abfragen ohne Prädikate auf partitionierten Spalten, die zu großen Tabellenscans führen, oder Abfragen, die Kreuzverknüpfungen zwischen großen Tabellen beinhalten, und/oder Abfragen, die eine große Anzahl von Zeilen unbegrenzt sortieren. Du kannst die Strict-Mode-Konfiguration bei der Cluster-Erstellung einrichten und die Einstellung auch über die Sitzungseigenschaften außer Kraft setzen. Du kannst Strict-Mode-Prüfungen für die Abfragetypen select (auswählen), insert (einfügen), create table as select (Tabelle als select erstellen) und explain analyze (erklären, analysieren) anwenden.

Wir freuen uns außerdem, bekannt geben zu können, dass PrestoDB und Trino von Amazon EMR eine neue Funktion zum Umgang mit Spot-Unterbrechungen hinzugefügt haben, die bei der kostengünstigen und zuverlässigen Durchführung deiner Abfragen hilft. Mit Spot Instances in Amazon EMR kannst du Big-Data-Workloads auf freier Amazon-EC2-Kapazität zu geringeren Kosten als bei On-Demand-Instances ausführen. Amazon EC2 kann jedoch Spot Instances mit einer zweiminütigen Benachrichtigung unterbrechen. PrestoDB/Trino-Abfragen schlagen fehl, wenn Spot-Knoten beendet werden. Das bedeutete, dass die Kunden bisher solche Workloads nicht auf Spot Instances ausführen und von den niedrigeren Kosten profitieren konnten. In EMR 6.7 haben wir der PrestoDB/Trino-Engine eine neue Funktion hinzugefügt, die Spot-Unterbrechungen erkennt und feststellt, ob die bestehenden Abfragen auf diesen Knoten innerhalb von zwei Minuten abgeschlossen werden können. Wenn die Abfragen nicht beendet werden können, lassen wir sie schnell scheitern und wiederholen die Abfragen auf anderen Knoten. Die PrestoDB/Trino-Engine von Amazon EMR plant auch keine neuen Abfragen auf Spot-Knoten, die bald zurückgefordert werden sollen. Mit diesen beiden neuen Funktionen erhältst du das Beste aus beiden Welten – verbesserte Ausfallsicherheit mit der PrestoDB/Trino-Engine auf Amazon EMR und die wirtschaftliche Ausführung von Abfragen auf Spot-Knoten.

Du kannst diese Funktion in allen Regionen nutzen, in denen PrestoDB und Trino von Amazon EMR verfügbar sind. Weitere Informationen findest du im Abschnitt Presto und Trino im Versionshandbuch von Amazon EMR.