Scelta di un servizio di analisi AWS

Determina i requisiti di elaborazione dei dati per il modo in cui i dati vengono acquisiti, trasformati, puliti e preparati per l'analisi. Le principali considerazioni includono:

• Trasformazione dei dati: determina le trasformazioni specifiche necessarie per rendere i dati grezzi adatti all'analisi. Ciò comporta attività come l'aggregazione, la normalizzazione, il filtraggio e l'arricchimento dei dati.
• Pulizia dei dati: valuta la qualità dei dati e definisci i processi per gestire i dati mancanti, imprecisi o incoerenti. Implementa tecniche di pulizia dei dati per garantire dati di alta qualità per approfondimenti affidabili.
• Frequenza di elaborazione: determina se è necessaria l'elaborazione in tempo reale, quasi in tempo reale o in batch in base alle esigenze analitiche. L'elaborazione in tempo reale consente informazioni immediate, mentre l'elaborazione in batch può essere sufficiente per le analisi periodiche.
• Scalabilità e produttività: valuta i requisiti di scalabilità per la gestione dei volumi di dati, la velocità di elaborazione e il numero di richieste di dati simultanee. Assicurati che l'approccio di elaborazione scelto possa adattarsi alla crescita futura.
• Latenza: considera la latenza accettabile per l'elaborazione dei dati e il tempo necessario dall'inserimento dei dati ai risultati dell'analisi. Ciò è particolarmente importante per le analisi in tempo reale o sensibili al fattore tempo.

Determina le esigenze di archiviazione determinando come e dove vengono archiviati i dati in tutta la pipeline di analisi. Le considerazioni importanti includono:

• Volume di dati: valuta la quantità di dati generati e raccolti e stima la crescita futura dei dati per pianificare una capacità di archiviazione sufficiente.
• Conservazione dei dati: definisci la durata per la quale i dati devono essere conservati per l'analisi storica o per scopi di conformità. Determina le policy appropriate di conservazione dei dati.
• Modelli di accesso ai dati: scopri come verrà effettuato l'accesso ai dati e come verranno interrogati per scegliere la soluzione di archiviazione più adatta. Prendi in considerazione le operazioni di lettura e scrittura, la frequenza di accesso ai dati e la località dei dati.
• Sicurezza dei dati: dai priorità alla sicurezza dei dati valutando le opzioni di crittografia, i controlli di accesso e i meccanismi di protezione dei dati per salvaguardare le informazioni sensibili.
• Ottimizzazione dei costi: ottimizza i costi di archiviazione selezionando le soluzioni di archiviazione più convenienti in base ai modelli di accesso e all'utilizzo dei dati.
• Integrazione con i servizi di analisi: garantisce una perfetta integrazione tra la soluzione di archiviazione scelta e gli strumenti di elaborazione e analisi dei dati nella pipeline.

Quando scegli i servizi di analisi per la raccolta e l'inserimento dei dati, prendi in considerazione vari tipi di dati pertinenti alle esigenze e agli obiettivi della tua organizzazione. I tipi comuni di dati che potresti dover prendere in considerazione includono:

• Dati transazionali: includono informazioni sulle interazioni o transazioni individuali, come acquisti dei clienti, transazioni finanziarie, ordini online e registri delle attività degli utenti.
• Dati basati su file: si riferisce a dati strutturati o non strutturati archiviati in file, come file di registro, fogli di calcolo, documenti, immagini, file audio e file video. I servizi di analisi dovrebbero supportare l'inserimento di diversi formati di file/
• Dati sugli eventi: acquisiscono eventi o incidenti significativi, come azioni degli utenti, eventi di sistema, eventi delle macchine o eventi aziendali. Gli eventi possono includere qualsiasi dato che arriva ad alta velocità e che viene acquisito per l'elaborazione on-stream o downstream.

La responsabilità operativa è condivisa tra te e AWS, con una divisione delle responsabilità che varia tra diversi livelli di modernizzazione. Hai la possibilità di gestire autonomamente la tua infrastruttura di analisi su AWS o di sfruttare i numerosi servizi di analisi serverless per alleggerire il carico di gestione dell'infrastruttura.

Le opzioni autogestite garantiscono agli utenti un maggiore controllo sull'infrastruttura e sulle configurazioni, ma richiedono un maggiore impegno operativo.

Le opzioni serverless eliminano gran parte del carico operativo, fornendo scalabilità automatica, alta disponibilità e solide funzionalità di sicurezza, consentendo agli utenti di concentrarsi maggiormente sulla creazione di soluzioni analitiche e sulla ricerca di informazioni piuttosto che sulla gestione dell'infrastruttura e delle attività operative. Prendi in considerazione questi vantaggi delle soluzioni di analisi serverless:

• Astrazione dell'infrastruttura: servizi serverless di gestione astratta dell'infrastruttura, che solleva gli utenti dalle attività di provisioning, scalabilità e manutenzione. AWS gestisce questi aspetti operativi, riducendo il sovraccarico di gestione.
• Scalabilità e prestazioni automatiche: i servizi serverless ridimensionano automaticamente le risorse in base alle richieste del carico di lavoro, garantendo prestazioni ottimali senza interventi manuali.
• Alta disponibilità e ripristino di emergenza: AWS offre un'elevata disponibilità per i servizi serverless. AWS gestisce la ridondanza, la replica e il ripristino di emergenza dei dati per migliorare la disponibilità e l'affidabilità dei dati.
• Sicurezza e conformità: AWS gestisce le misure di sicurezza, la crittografia dei dati e la conformità per i servizi serverless, aderendo agli standard e alle best practice del settore.
• Monitoraggio e registrazione: AWS offre funzionalità integrate di monitoraggio, registrazione e avviso per servizi serverless. Gli utenti possono accedere a parametri e log dettagliati tramite AWS CloudWatch.

Carico di lavoro in batch

• Volume e frequenza dei dati: l'elaborazione in batch è adatta per grandi volumi di dati con aggiornamenti periodici.
• Latenza dei dati: l'elaborazione in batch potrebbe introdurre un certo ritardo nella fornitura di informazioni rispetto all'elaborazione in tempo reale.

Analisi interattiva

• Complessità delle interrogazioni sui dati: l'analisi interattiva richiede risposte a bassa latenza per un feedback rapido.
• Visualizzazione dei dati: valuta la necessità di strumenti interattivi di visualizzazione dei dati per consentire agli utenti aziendali di esplorare i dati visivamente.

Carichi di lavoro in streaming

• Velocità e volume dei dati: i carichi di lavoro di streaming richiedono l'elaborazione in tempo reale per gestire dati ad alta velocità.
• Finestre temporali dei dati: definisci le finestre temporali dei dati e le aggregazioni basate sul tempo per lo streaming dei dati per estrarre informazioni pertinenti.

Definisci chiaramente gli obiettivi aziendali e le informazioni che intendi ricavare dalle analisi. I diversi tipi di analisi servono a scopi diversi. Ad esempio:

• L'analisi descrittiva è ideale per ottenere una panoramica storica
• L'analisi diagnostica aiuta a comprendere le ragioni alla base degli eventi passati
• L'analisi predittiva prevede i risultati futuri
• L'analisi prescrittiva fornisce consigli per azioni ottimali

Abbina i tuoi obiettivi aziendali ai tipi di analisi pertinenti. Ecco alcuni criteri decisionali chiave per aiutarti a scegliere i tipi di analisi giusti:

• Disponibilità e qualità dei dati: le analisi descrittive e diagnostiche si basano su dati storici, mentre l'analisi predittiva e prescrittiva richiede dati storici sufficienti e dati di alta qualità per creare modelli accurati.
• Volume e complessità dei dati: l'analisi predittiva e l’analisi prescrittiva richiedono notevoli risorse di elaborazione e calcolo dei dati. Assicurati che l'infrastruttura e gli strumenti siano in grado di gestire il volume e la complessità dei dati.
• Complessità decisionale: se le decisioni coinvolgono più variabili, vincoli e obiettivi, l'analisi prescrittiva può essere più adatta a guidare azioni ottimali.
  
• Tolleranza al rischio: l'analisi prescrittiva può fornire raccomandazioni, ma comporta incertezze associate. Assicurati che i responsabili delle decisioni comprendano i rischi associati ai risultati dell'analisi.

Valuta le esigenze di scalabilità e prestazioni dell'architettura. La progettazione deve gestire volumi di dati crescenti, richieste degli utenti e carichi di lavoro analitici. I fattori decisionali chiave da considerare includono:

• Volume e crescita dei dati: valuta il volume di dati attuale e anticipa la crescita futura. 
• Velocità dei dati e requisiti in tempo reale: determina se i dati devono essere elaborati e analizzati in tempo reale o quasi in tempo reale.
• Complessità dell'elaborazione dei dati: analizza la complessità delle attività di elaborazione e analisi dei dati. Per attività a uso intensivo di calcolo, servizi come Amazon EMR forniscono un ambiente scalabile e gestito per l'elaborazione di big data.
• Simultaneità e carico utente: considera il numero di utenti simultanei e il livello di carico degli utenti sul sistema. 
• Funzionalità di scalabilità automatica: prendi in considerazione i servizi che offrono funzionalità di scalabilità automatica, che consentono alle risorse di scalare automaticamente verso l'alto o verso il basso in base alla domanda. Ciò garantisce un utilizzo efficiente delle risorse e l'ottimizzazione dei costi.
• Distribuzione geografica: prendi in considerazione i servizi con replica globale e accesso ai dati a bassa latenza se la tua architettura dei dati deve essere distribuita su più regioni o posizioni.
• Compromesso tra costi e prestazioni: bilanciamento delle esigenze prestazionali con considerazioni relative ai costi. I servizi ad alte prestazioni possono avere un costo maggiore.
  
• Accordi sui livelli di servizio (SLA): verifica gli SLA forniti dai servizi AWS per assicurarti che soddisfino le tue aspettative di scalabilità e prestazioni.

La governance dei dati è l'insieme di processi, policy e controlli che devi implementare per garantire una gestione, qualità, sicurezza e conformità efficaci delle tue risorse di dati. I punti decisionali chiave da considerare includono:

• Policy di conservazione dei dati: definisci le policy di conservazione dei dati in base ai requisiti normativi e alle esigenze aziendali e stabilisci processi per lo smaltimento sicuro dei dati quando non sono più necessari.
  
• Audit trail e registrazione: decidi i meccanismi di registrazione e controllo per monitorare l'accesso e l'utilizzo dei dati. Implementa percorsi di controllo completi per tenere traccia delle modifiche ai dati, dei tentativi di accesso e delle attività degli utenti per il monitoraggio della conformità e della sicurezza.
• Requisiti di conformità: comprendi le normative di conformità dei dati geografici e di settore che si applicano alla tua organizzazione. Assicurati che l'architettura dei dati sia in linea con queste normative e linee guida.
• Classificazione dei dati: classifica i dati in base alla loro sensibilità e definisci i controlli di sicurezza appropriati per ciascuna classe di dati. 
  
• Ripristino di emergenza e continuità aziendale: pianifica il ripristino di emergenza e la continuità aziendale per garantire la disponibilità e la resilienza dei dati in caso di eventi imprevisti o guasti del sistema.
• Condivisione di dati con terze parti: se condividi dati con entità terze, implementa protocolli e accordi di condivisione dei dati sicuri per proteggere la riservatezza dei dati e prevenire l'uso improprio dei dati.

La sicurezza dei dati nella pipeline di analisi implica la protezione dei dati in ogni fase della pipeline per garantirne la riservatezza, l'integrità e la disponibilità. I punti decisionali chiave da considerare includono:

• Controllo e autorizzazione degli accessi: implementa solidi protocolli di autenticazione e autorizzazione per garantire che solo gli utenti autorizzati possano accedere a risorse di dati specifiche.
• Crittografia dei dati: scegli i metodi di crittografia appropriati per i dati archiviati nei database, nei data lake e durante lo spostamento dei dati tra i diversi componenti dell'architettura.
• Mascheramento e anonimizzazione dei dati: considera la necessità di mascherare o rendere anonimi i dati per proteggere i dati sensibili, come le informazioni personali o i dati aziendali sensibili, consentendo al contempo il proseguimento di determinati processi analitici.
• Integrazione sicura dei dati: stabilisci pratiche di integrazione dei dati sicure per garantire che i dati fluiscano in modo sicuro tra i diversi componenti dell'architettura, evitando fughe di dati o accessi non autorizzati durante lo spostamento dei dati.
• Isolamento della rete: prendi in considerazione i servizi che supportano gli endpoint AWS VPC per evitare di esporre le risorse alla rete Internet pubblica.

Definisci i punti di integrazione e i flussi di dati tra i vari componenti della pipeline di analisi per garantire un flusso di dati e l'interoperabilità senza interruzioni. I punti decisionali chiave da considerare includono:

• Integrazione delle fonti di dati: identifica le fonti di dati da cui verranno raccolti i dati, come database, applicazioni, file o API esterne. Decidi i metodi di inserimento dei dati (batch, in tempo reale, basati sugli eventi) per inserire i dati nella pipeline in modo efficiente e con una latenza minima.
• Trasformazione dei dati: determina le trasformazioni necessarie per preparare i dati per l'analisi. Decidi gli strumenti e i processi per pulire, aggregare, normalizzare o arricchire i dati man mano che si muovono attraverso la pipeline.
• Architettura di spostamento dei dati: scegli l'architettura appropriata per lo spostamento dei dati tra i componenti della pipeline. Prendi in considerazione l'elaborazione in batch, l'elaborazione in streaming o una combinazione di entrambi in base ai requisiti in tempo reale e al volume di dati.
• Replica e sincronizzazione dei dati: scegli i meccanismi di replica e sincronizzazione dei dati per mantenere i dati aggiornati su tutti i componenti. Prendi in considerazione soluzioni di replica in tempo reale o sincronizzazioni periodiche dei dati a seconda dei requisiti di aggiornamento dei dati.
  
• Qualità e convalida dei dati: implementa controlli e procedure di convalida della qualità dei dati per garantire l'integrità dei dati durante il loro spostamento nella pipeline. Decidi le azioni da intraprendere quando i dati non vengono convalidati, come avvisi o gestione degli errori.
• Sicurezza e crittografia dei dati: determina in che modo i dati saranno protetti durante il transito e a riposo. Decidi i metodi di crittografia per proteggere i dati sensibili in tutta la pipeline, considerando il livello di sicurezza richiesto in base alla sensibilità dei dati.
• Scalabilità e resilienza: assicurati che la progettazione del flusso di dati consenta la scalabilità orizzontale e possa gestire un aumento dei volumi e del traffico di dati.

La creazione di una pipeline di analisi su AWS offre diverse opportunità di ottimizzazione dei costi. Per garantire l'efficienza in termini di costi, prendi in considerazione le seguenti strategie:

• Dimensionamento e selezione delle risorse: ridimensiona le risorse in base ai requisiti effettivi del carico di lavoro. Scegli i servizi e i tipi di istanza AWS che soddisfino le esigenze prestazionali dei carichi di lavoro evitando il provisioning eccessivo.
• Dimensionamento automatico: implementa il dimensionamento automatico per i servizi con carichi di lavoro diversi. Il dimensionamento automatico regola dinamicamente il numero di istanze in base alla domanda, riducendo i costi durante i periodi di traffico ridotto.
• Istanze spot: utilizza le istanze spot di AWS EC2 per carichi di lavoro non critici e con tolleranza ai guasti. Le istanze spot possono ridurre significativamente i costi rispetto alle istanze on demand.
• Istanze riservate: prendi in considerazione l'acquisto di istanze riservate AWS per ottenere risparmi significativi sui costi rispetto ai prezzi on demand per carichi di lavoro stabili con un utilizzo prevedibile.
• Archiviazione dei dati su più livelli: ottimizza i costi di archiviazione dei dati utilizzando diverse classi di archiviazione in base alla frequenza di accesso ai dati.
• Policy del ciclo di vita dei dati: configura le policy del ciclo di vita dei dati per spostare o eliminare automaticamente i dati in base all'età e ai modelli di utilizzo. Questo aiuta a gestire i costi di archiviazione e mantiene l'archiviazione di dati allineata al suo valore.