Auswahl eines AWS-Analytik-Services

Bestimmen Sie die Anforderungen an die Datenverarbeitung für die Art und Weise, wie Daten erfasst, transformiert, bereinigt und für die Analyse vorbereitet werden. Zu den wichtigsten Überlegungen gehören:

• Datentransformation: Bestimmen Sie die spezifischen Transformationen, die erforderlich sind, um die Rohdaten für die Analyse geeignet zu machen. Dies beinhaltet Aufgaben wie Datenaggregation, Normalisierung, Filterung und Anreicherung.
• Datenbereinigung: Bewerten Sie die Datenqualität und definieren Sie Prozesse zum Umgang mit fehlenden, ungenauen oder inkonsistenten Daten. Implementieren Sie Techniken zur Datenbereinigung, um qualitativ hochwertige Daten für zuverlässige Erkenntnisse zu gewährleisten.
• Verarbeitungshäufigkeit: Sie basierend auf den analytischen Anforderungen, ob Echtzeit-, nahezu Echtzeit- oder Stapelverarbeitung erforderlich ist. Die Echtzeitverarbeitung ermöglicht sofortige Erkenntnisse, während die Stapelverarbeitung für periodische Analysen ausreichend sein kann.
• Skalierbarkeit und Durchsatz: Bewerten Sie die Skalierbarkeitsanforderungen für die Verarbeitung von Datenmengen, die Verarbeitungsgeschwindigkeit und die Anzahl gleichzeitiger Datenanforderungen. Stellen Sie sicher, dass der gewählte Verarbeitungsansatz auch für zukünftiges Wachstum geeignet ist.
• Latenz: Berücksichtigen Sie die akzeptable Latenz für die Datenverarbeitung und die Zeit, die von der Datenaufnahme bis zu den Analyseergebnissen benötigt wird. Dies ist besonders für Echtzeit- oder zeitkritische Analysen wichtig.

Ermitteln Sie den Speicherbedarf, indem Sie festlegen, wie und wo Daten in der gesamten Analytik-Pipeline gespeichert werden. Zu den wichtigen Überlegungen gehören:

• Datenvolumen: Bewerten Sie die Menge der generierten und erfassten Daten und schätzen Sie das zukünftige Datenwachstum ein, um eine ausreichende Speicherkapazität zu planen.
• Datenspeicherung: Definieren Sie die Dauer, für die Daten für historische Analysen oder Konformitätszwecke aufbewahrt werden sollen. Ermitteln Sie die geeigneten Richtlinien zur Datenaufbewahrung.
• Datenzugriffsmuster: Machen Sie sich ein Bild davon, wie auf die Daten zugegriffen wird und wie sie abgefragt werden, um die am besten geeignete Speicherlösung auswählen zu können. Berücksichtigen Sie Lese- und Schreibvorgänge, Datenzugriffshäufigkeit und Datenlokalität.
• Datensicherheit: Priorisieren Sie die Datensicherheit, indem Sie Verschlüsselungsoptionen, Zugriffskontrollen und Datenschutzmechanismen bewerten, um vertrauliche Informationen zu schützen.
• Kostenoptimierung: Optimieren Sie die Speicherkosten, indem Sie die kostengünstigsten Speicherlösungen basierend auf Datenzugriffsmustern und -nutzung auswählen.
• Integration mit Analytik-Services: Stellen Sie eine nahtlose Integration zwischen der gewählten Speicherlösung und den Datenverarbeitungs- und Analysetools in der Pipeline sicher.

Berücksichtigen Sie bei der Entscheidung über Analytik-Services für die Erfassung und Aufnahme von Daten verschiedene Arten von Daten, die für die Anforderungen und Ziele Ihres Unternehmens relevant sind. Zu den gängigen Datentypen, die Sie möglicherweise berücksichtigen müssen, gehören:

• Transaktionsdaten: Enthält Informationen zu einzelnen Interaktionen oder Transaktionen, wie z. B. Kundenkäufen, Finanztransaktionen, Online-Bestellungen und Benutzeraktivitätsprotokollen.
• Dateibasierte Daten: Bezieht sich auf strukturierte oder unstrukturierte Daten, die in Dateien gespeichert sind, z. B. Protokolldateien, Tabellenkalkulationen, Dokumente, Bilder, Audiodateien und Videodateien. Analytik-Services sollten die Aufnahme verschiedener Dateiformaten unterstützen/
• Ereignisdaten: Erfasst wichtige Vorkommnisse oder Vorfälle, z. B. Benutzeraktionen, Systemereignisse, Maschinenereignisse oder Geschäftsereignisse. Zu den Ereignissen können alle mit hoher Geschwindigkeit eintreffenden Daten gehören, die für die On-Stream- oder Down-Stream-Verarbeitung erfasst werden.

Die betriebliche Verantwortung wird zwischen Ihnen und AWS geteilt, wobei die Aufteilung der Verantwortung je nach Modernisierungsstufe unterschiedlich ist. Sie haben die Möglichkeit, Ihre Analytik-Infrastruktur in AWS selbst zu verwalten oder die zahlreichen Serverless Analytik-Services zu nutzen, um Ihren Aufwand für die Infrastrukturverwaltung zu verringern.

Selbstverwaltete Optionen bieten Benutzern eine größere Kontrolle über die Infrastruktur und Konfigurationen, erfordern jedoch einen höheren betrieblichen Aufwand.

Serverless-Optionen nehmen Ihnen einen Großteil der operativen Last ab, indem sie automatische Skalierbarkeit, hohe Verfügbarkeit und robuste Sicherheits-Features bereitstellen. So können sich Benutzer mehr auf das Entwickeln analytischer Lösungen und die Gewinnung von Einblicken konzentrieren, anstatt die Infrastruktur und operative Aufgaben zu verwalten. Bedenken Sie diese Vorteile von Serverless Analytik-Lösungen:

• Infrastrukturabstraktion: Serverless Services abstrahieren das Infrastrukturmanagement und entlasten die Benutzer von Aufgaben der Bereitstellung, Skalierung und Wartung. AWS kümmert sich um diese betrieblichen Aspekte und reduziert so den Verwaltungsaufwand.
• Automatische Skalierung und Leistung: Serverless Services skalieren Ressourcen automatisch basierend auf den Anforderungen des Workloads und sorgen so für optimale Leistung ohne manuelle Eingriffe.
• Hochverfügbarkeit und Notfallwiederherstellung: AWS bietet Hochverfügbarkeit für Serverless Services. AWS verwaltet Datenredundanz, Replikation und Notfallwiederherstellung, um die Datenverfügbarkeit und -zuverlässigkeit zu verbessern.
• Sicherheit und Compliance: AWS verwaltet Sicherheitsmaßnahmen, Datenverschlüsselung und Compliance für Serverless Services unter Einhaltung von Branchenstandards und bewährten Methoden.
• Überwachung und Protokollierung: AWS bietet integrierte Überwachungs-, Protokollierungs- und Benachrichtigungsfunktionen für Serverless Services. Benutzer können über AWS CloudWatch auf detaillierte Metriken und Protokolle zugreifen.

Stapel-Workload

• Datenmenge und Häufigkeit: Die Stapelverarbeitung eignet sich für große Datenmengen mit regelmäßigen Aktualisierungen.
• Datenlatenz: Bei der Stapelverarbeitung kann es im Vergleich zur Echtzeitverarbeitung zu Verzögerungen bei der Bereitstellung von Erkenntnissen kommen.

Interaktive Analytik

• Komplexität der Datenabfrage: Interaktive Analysen erfordern Antworten mit geringer Latenz für schnelles Feedback.
• Datenvisualisierung: Evaluieren Sie den Bedarf an interaktiven Datenvisualisierungstools, damit Geschäftsanwender Daten visuell untersuchen können.

Streamen von Workloads

• Datengeschwindigkeit und -volumen: Streaming-Workloads erfordern für die Verarbeitung von Hochgeschwindigkeitsdaten eine Echtzeitverarbeitung.
• Datenfensterung: Definieren Sie Datenfensterung und zeitbasierte Aggregationen für Streaming-Daten, um relevante Erkenntnisse zu gewinnen.

Definieren Sie klar die Geschäftsziele und die Erkenntnisse, die Sie aus den Analysen gewinnen möchten. Verschiedene Arten von Analysen dienen unterschiedlichen Zwecken. Zum Beispiel:

• Deskriptive Analysen eignen sich hervorragend, um einen historischen Überblick zu gewinnen
• Diagnostische Analysen helfen dabei, die Gründe für vergangene Ereignisse zu verstehen
• Prädiktive Analytik prognostiziert zukünftige Ergebnisse
• Präskriptive Analyse liefert Empfehlungen für optimale Maßnahmen

Ordnen Sie Ihre Geschäftsziele den relevanten Arten von Analysen zu. Hier sind einige wichtige Entscheidungskriterien, die Ihnen bei der Auswahl der richtigen Analysearten helfen sollen:

• Datenverfügbarkeit und Qualität: Deskriptive und diagnostische Analysen basieren auf historischen Daten, während prädiktive und präskriptive Analysen ausreichend Verlaufsdaten und qualitativ hochwertige Daten erfordern, um genaue Modelle zu erstellen.
• Datenvolumen und Komplexität: Prädiktive und präskriptive Analysen erfordern umfangreiche Datenverarbeitungs- und Rechenressourcen. Stellen Sie sicher, dass Ihre Infrastruktur und Tools das Datenvolumen und die Komplexität bewältigen können.
• Komplexität der Entscheidungen: Wenn Entscheidungen mehrere Variablen, Einschränkungen und Ziele beinhalten, ist die präskriptive Analyse möglicherweise besser geeignet, um optimale Maßnahmen zu steuern.
  
• Risikobereitschaft: Präskriptive Analysen können zwar Empfehlungen liefern, sind jedoch mit Unsicherheiten verbunden. Stellen Sie sicher, dass Entscheidungsträger die mit den Analyseergebnissen verbundenen Risiken vertraut sind.

Bewerten Sie die Skalierbarkeits- und Leistungsanforderungen der Architektur. Das Design muss steigende Datenmengen, Benutzeranforderungen und analytische Workloads bewältigen. Zu den wichtigsten zu berücksichtigenden Entscheidungsfaktoren gehören:

• Datenvolumen und Wachstum: Beurteilen Sie das aktuelle Datenvolumen und prognostizieren Sie zukünftiges Wachstum. 
• Datengeschwindigkeit und Echtzeitanforderungen: Bestimmen Sie, ob die Daten in Echtzeit oder nahezu in Echtzeit verarbeitet und analysiert werden müssen.
• Komplexität der Datenverarbeitung: Analysieren Sie die Komplexität Ihrer Datenverarbeitungs- und Analyseaufgaben. Für rechenintensive Aufgaben bieten Services wie Amazon EMR eine skalierbare und verwaltete Umgebung für die Verarbeitung von Big Data.
• Gleichzeitigkeit und Benutzerlast: Berücksichtigen Sie die Anzahl der gleichzeitigen Benutzer und den Grad der Benutzerlast auf dem System. 
• Funktionen zur automatischen Skalierung: Ziehen Sie Services in Betracht, die eine automatische Skalierung bieten, so dass Ressourcen je nach Bedarf automatisch hoch- oder herunterskaliert werden können. Dies gewährleistet eine effiziente Ressourcennutzung und Kostenoptimierung.
• Geografische Verteilung: Erwägen Sie Services mit globaler Replikation und Datenzugriff mit geringer Latenz, wenn Ihre Datenarchitektur über mehrere Regionen oder Standorte verteilt werden muss.
• Kosten-Leistungs-Kompromiss: Bringen Sie die Leistungsanforderungen mit den Kostenaspekten in Einklang. Services mit hoher Leistung sind möglicherweise mit höheren Kosten verbunden.
  
• Service Level Agreements (SLAs): Überprüfen Sie die von AWS-Services bereitgestellten SLAs, um sicherzustellen, dass sie Ihren Skalierbarkeits- und Leistungserwartungen entsprechen.

Bei der Daten-Governance handelt es sich um eine Reihe von Prozessen, Richtlinien und Kontrollen, die Sie implementieren müssen, um eine effektive Verwaltung, Qualität, Sicherheit und Compliance Ihrer Datenbestände sicherzustellen. Zu den wichtigsten zu berücksichtigenden Entscheidungspunkten gehören:

• Richtlinien zur Datenaufbewahrung: Definieren Sie Richtlinien zur Datenaufbewahrung basierend auf regulatorischen Anforderungen und Geschäftsanforderungen und richten Sie Prozesse für die sichere Datenentsorgung ein, wenn diese nicht mehr benötigt werden.
  
• Audit trail und Protokollierung: Entscheiden Sie sich für die Protokollierungs- und Prüfmechanismen zur Überwachung des Datenzugriffs und der Datennutzung. Implementieren Sie umfassende Prüfprotokolle, um Datenänderungen, Zugriffsversuche und Benutzeraktivitäten zur Compliance- und Sicherheitsüberwachung zu verfolgen.
• Compliance-Anforderungen: Machen Sie sich mit den branchenspezifischen und geografischen Daten-Compliance-Vorschriften vertraut, die für Ihr Unternehmen gelten. Stellen Sie sicher, dass die Datenarchitektur diesen Vorschriften und Richtlinien entspricht.
• Datenklassifizierung: Klassifizieren Sie Daten anhand ihrer Vertraulichkeit und definieren Sie geeignete Sicherheitskontrollen für jede Datenklasse. 
  
• Notfallwiederherstellung und Geschäftskontinuität: Planen Sie Notfallwiederherstellung und Geschäftskontinuität, um die Datenverfügbarkeit und Ausfallsicherheit bei unerwarteten Ereignissen oder Systemausfällen zu gewährleisten.
• Weitergabe von Daten an Dritte: Wenn Sie Daten an Dritte weitergeben, implementieren Sie sichere Protokolle und Vereinbarungen zur Datenweitergabe, um die Vertraulichkeit der Daten zu schützen und Datenmissbrauch zu verhindern.

Zur Sicherheit der Daten in der Analysepipeline gehört der Schutz der Daten in jeder Phase der Pipeline, um deren Vertraulichkeit, Integrität und Verfügbarkeit sicherzustellen. Zu den wichtigsten zu berücksichtigenden Entscheidungspunkten gehören:

• Zugriffskontrolle und Autorisierung: Implementieren Sie robuste Authentifizierungs- und Autorisierungsprotokolle, um sicherzustellen, dass nur autorisierte Benutzer auf bestimmte Datenressourcen zugreifen können.
• Datenverschlüsselung: Wählen Sie geeignete Verschlüsselungsmethoden für Daten, die in Datenbanken, Data Lakes und während der Datenverschiebung zwischen verschiedenen Komponenten der Architektur gespeichert sind.
• Datenmaskierung und Anonymisierung: Erwägen Sie die Notwendigkeit einer Datenmaskierung oder Anonymisierung, um vertrauliche Daten wie personenbezogene Daten oder vertrauliche Geschäftsdaten zu schützen und gleichzeitig die Fortsetzung bestimmter Analyseprozesse zu ermöglichen.
• Sichere Datenintegration: Legen Sie sichere Methoden für die Datenintegration fest, um einen sicheren Ablauf zwischen den verschiedenen Komponenten der Architektur sicherzustellen und Datenlecks oder unbefugten Zugriff während der Datenbewegung zu vermeiden.
• Netzwerkisolierung: Ziehen Sie Services in Betracht, die AWS-VPC-Endpunkte unterstützen, um zu vermeiden, dass Ressourcen dem öffentlichen Internet ausgesetzt werden.

Definieren Sie die Integrationspunkte und Datenabläufe zwischen verschiedenen Komponenten der Analysepipeline, um einen nahtlosen Datenablauf und Interoperabilität zu gewährleisten. Zu den wichtigsten zu berücksichtigenden Entscheidungspunkten gehören:

• Datenquellenintegration: Identifizieren Sie die Datenquellen, aus denen Daten erfasst werden, z. B. Datenbanken, Anwendungen, Dateien oder externe APIs. Entscheiden Sie sich für die Datenerfassungsmethoden (Stapel, Echtzeit, ereignisbasiert), um Daten effizient und mit minimaler Latenz in die Pipeline zu übertragen.
• Datentransformation: Ermitteln Sie die erforderlichen Transformationen, um Daten für die Analyse vorzubereiten. Entscheiden Sie sich für die Tools und Prozesse zum Bereinigen, Aggregieren, Normalisieren oder Anreichern der Daten, während diese die Pipeline durchlaufen.
• Datenverschiebungsarchitektur: Wählen Sie die geeignete Architektur für die Datenverschiebung zwischen Pipeline-Komponenten. Erwägen Sie Stapelverarbeitung, Stream-Verarbeitung oder eine Kombination aus beidem, basierend auf den Echtzeitanforderungen und dem Datenvolumen.
• Datenreplikation und -synchronisierung: Entscheiden Sie sich für Datenreplikations- und Synchronisierungsmechanismen, um die Daten über alle Komponenten hinweg auf dem neuesten Stand zu halten. Ziehen Sie je nach den Anforderungen an die Datenaktualität Replikationslösungen in Echtzeit oder regelmäßige Datensynchronisierungen in Betracht.
  
• Datenqualität und Validierung: Implementieren Sie Datenqualitätsprüfungen und Validierungsschritte, um die Integrität der Daten während der Übertragung durch die Pipeline zu gewährleisten. Entscheiden Sie, welche Maßnahmen ergriffen werden sollen, wenn die Datenvalidierung fehlschlägt, z. B. Warnungen oder Fehlerbehandlung.
• Datensicherheit und Verschlüsselung: Legen Sie fest, wie Daten während der Übertragung und im Ruhezustand gesichert werden. Entscheiden Sie sich für Verschlüsselungsmethoden zum Schutz vertraulicher Daten in der gesamten Pipeline und berücksichtigen Sie dabei den erforderlichen Sicherheitsgrad basierend auf der Datensensibilität.
• Skalierbarkeit und Ausfallsicherheit: Stellen Sie sicher, dass das Design des Datenablaufs horizontale Skalierbarkeit ermöglicht und erhöhte Datenmengen und Datenverkehr bewältigen kann.

Der Aufbau Ihrer Analytik-Pipeline in AWS bietet verschiedene Möglichkeiten zur Kostenoptimierung. Um die Kosteneffizienz zu gewährleisten, sollten Sie die folgenden Strategien in Betracht ziehen:

• Dimensionierung und Auswahl von Ressourcen: Wählen Sie die richtige Größe Ihrer Ressourcen basierend auf den tatsächlichen Workload-Anforderungen. Wählen Sie AWS-Services und Instance-Typen, die den Leistungsanforderungen der Workloads entsprechen und gleichzeitig eine Überbereitstellung vermeiden.
• Automatische Skalierung: Implementieren Sie die automatische Skalierung für Services mit unterschiedlichen Workloads. Die automatische Skalierung passt die Anzahl der Instances dynamisch an den Bedarf an und senkt so die Kosten in Zeiten mit geringem Datenverkehr.
• Spot Instances: Nutzen Sie AWS-EC2-Spot-Instances für unkritische und fehlertolerante Workloads. Spot-Instances können die Kosten im Vergleich zu On-Demand-Instances erheblich senken.
• Reserved Instances: Ziehen Sie den Erwerb von AWS Reserved Instances in Betracht, um erhebliche Einsparungen gegenüber On-Demand-Preisen für stabile Workloads mit vorhersehbarer Nutzung zu erzielen.
• Datenspeicher-Tiering: Optimieren Sie die Datenspeicherkosten, indem Sie unterschiedliche Speicherklassen basierend auf der Datenzugriffshäufigkeit verwenden.
• Richtlinien für den Datenlebenszyklus: Richten Sie Richtlinien für den Datenlebenszyklus ein, um Daten basierend auf ihrem Alter und ihren Nutzungsmustern automatisch zu verschieben oder zu löschen. Dies hilft bei der Verwaltung der Speicherkosten und sorgt dafür, dass die Speicherung von Daten auf ihren Wert abgestimmt ist.