Elección de un servicio de análisis de AWS

Determine los requisitos para el procesamiento de datos para la forma en que se ingieren, transforman, limpian y preparan los datos para el análisis. Las consideraciones clave incluyen:

• La transformación de los datos: determine las transformaciones específicas necesarias para que los datos sin procesar sean adecuados para el análisis. Esto implica tareas como la incorporación, la normalización, el filtrado y el enriquecimiento de datos.
• La limpieza de los datos: evalúe la calidad de los datos y defina los procesos para gestionar los datos faltantes, inexactos o inconsistentes. Implemente técnicas de limpieza de datos para garantizar datos de alta calidad para obtener información confiable.
• La frecuencia del procesamiento: determine si se requiere el procesamiento en tiempo real, casi en tiempo real o por lotes en función de las necesidades analíticas. El procesamiento en tiempo real permite obtener información inmediata, mientras que el procesamiento por lotes puede ser suficiente para los análisis periódicos.
• La escalabilidad y el rendimiento: evalúe los requisitos de escalabilidad para administrar los volúmenes de datos, la velocidad de procesamiento y la cantidad de solicitudes de datos simultáneas. Asegúrese de que el enfoque de procesamiento elegido pueda adaptarse al crecimiento futuro.
• La latencia: tenga en cuenta la latencia aceptable para el procesamiento de datos y el tiempo que transcurre desde la ingesta de datos hasta los resultados del análisis. Esto es particularmente importante para los análisis en tiempo real o urgentes.

Determine las necesidades de almacenamiento estableciendo cómo y dónde se almacenan los datos durante toda la canalización del análisis. Algunas consideraciones importantes incluyen:

• El volumen de datos: evalúe la cantidad de datos que se generan y recopilan, y calcule el crecimiento futuro de los datos para planificar una capacidad de almacenamiento suficiente.
• La retención de datos: defina el tiempo durante el cual se deben retener los datos para fines de análisis histórico o de cumplimiento. Determine las políticas de retención de datos adecuadas.
• Los patrones de acceso a los datos: comprenda cómo se accederá a los datos y cómo se consultarán para elegir la solución de almacenamiento más adecuada. Tenga en cuenta las operaciones de lectura y escritura, la frecuencia de acceso a los datos y la localidad de los datos.
• La seguridad de los datos: priorice la seguridad de los datos evaluando las opciones de cifrado, los controles de acceso y los mecanismos de protección de datos para proteger la información confidencial.
• La optimización de los costes: optimice los costes de almacenamiento mediante la selección de las soluciones de almacenamiento más rentables en función de los patrones de acceso y el uso de los datos.
• La integración con los servicios de análisis: garantice una integración perfecta entre la solución de almacenamiento elegida y las herramientas de procesamiento y análisis de datos en la canalización.

Cuando decida los servicios de análisis para la recopilación e ingesta de datos, tenga en cuenta varios tipos de datos que sean relevantes para las necesidades y los objetivos de su organización. Algunos tipos de datos comunes que quizá deba tener en cuenta incluyen los siguientes:

• Los datos transaccionales: incluyen información sobre interacciones o transacciones individuales, como compras de clientes, transacciones financieras, pedidos en línea y registros de actividad de los usuarios.
• Los datos basados en archivos; hace referencia a los datos estructurados o no estructurados que se almacenan en archivos, como los archivos de registro, las hojas de cálculo, los documentos, las imágenes, los archivos de audio y de vídeo. Los servicios de análisis deben admitir la ingesta de diferentes formatos de archivo/
• Los datos de eventos: capturan las ocurrencias o incidentes importantes, como las acciones de los usuarios, los eventos del sistema, los eventos de máquinas o los eventos empresariales. Los eventos pueden incluir cualquier dato que llegue a gran velocidad y que se capture para su procesamiento continuo o descendente.

Usted y AWS comparten la responsabilidad operativa, y la división de responsabilidades varía según los diferentes niveles de modernización. Usted tiene la opción de autoadministrar su infraestructura de análisis en AWS o aprovechar los numerosos servicios de análisis sin servidor para reducir la carga de administración de la infraestructura.

Las opciones de autogestión otorgan a los usuarios un mayor control sobre la infraestructura y las configuraciones, pero requieren un mayor esfuerzo operativo.

Las opciones sin servidor eliminan gran parte de la carga operativa y proporcionan escalabilidad automática, alta disponibilidad y sólidas características de seguridad, lo que permite a los usuarios centrarse más en crear soluciones analíticas y generar información en lugar de gestionar la infraestructura y las tareas operativas. Tenga en cuenta estas ventajas de las soluciones de análisis sin servidor:

• La abstracción de la infraestructura: los servicios sin servidor eliminan la administración de la infraestructura, lo que libera a los usuarios de las tareas de aprovisionamiento, escalamiento y mantenimiento. AWS administra estos aspectos operativos, lo que reduce los gastos generales de administración.
• El escalamiento y el rendimiento automáticos: los servicios sin servidor escalan automáticamente los recursos en función de las demandas de carga de trabajo, lo que garantiza un rendimiento óptimo sin intervención manual.
• La alta disponibilidad y la recuperación de desastres: AWS proporciona una alta disponibilidad para los servicios sin servidor. AWS administra la redundancia de datos, la replicación y la recuperación de desastres para mejorar la disponibilidad y fiabilidad de los datos.
• La seguridad y la conformidad: AWS administra las medidas de seguridad, el cifrado de datos y la conformidad de los servicios sin servidor, siguiendo los estándares y las prácticas recomendadas del sector.
• La supervisión y el registro: AWS ofrece funciones integradas de supervisión, registro y alertas para los servicios sin servidor. Los usuarios pueden acceder a métricas y registros detallados a través de AWS CloudWatch.

La carga de trabajo por lotes

• El volumen y la frecuencia de datos: el procesamiento por lotes es adecuado para grandes volúmenes de datos con actualizaciones periódicas.
• La latencia de los datos: el procesamiento por lotes puede provocar cierto retraso en la entrega de información en comparación con el procesamiento en tiempo real.

El análisis interactivo

• La complejidad de las consultas de datos: el análisis interactivo requiere respuestas de baja latencia para obtener comentarios rápidos.
• La visualización de los datos: evalúe la necesidad de herramientas de visualización de datos interactivas que permitan a los usuarios empresariales explorar los datos de forma visual.

Las cargas de trabajo de streaming

• La velocidad y el volumen de datos: las cargas de trabajo de streaming requieren un procesamiento en tiempo real para administrar datos de alta velocidad.
• Las ventanas de datos: defina ventanas de datos e incorporaciones basadas en el tiempo para el streaming de datos con el fin de extraer información relevante.

Defina claramente los objetivos empresariales y la información que desea obtener de los análisis. Los diferentes tipos de análisis tienen diferentes propósitos. Por ejemplo:

• El análisis descriptivo es ideal para obtener una visión general histórica
• El análisis de diagnóstico ayuda a comprender las razones detrás de los eventos pasados
• El análisis predictivo prevé los resultados futuros
• El análisis prescriptivo proporciona recomendaciones para acciones óptimas

Haga coincidir sus objetivos empresariales con los tipos de análisis pertinentes. Estos son algunos criterios de decisión clave que sirven de ayuda para que elija los tipos de análisis correctos:

• La disponibilidad y la calidad de los datos: los análisis descriptivos y de diagnóstico se basan en datos históricos, mientras que los análisis predictivos y prescriptivos requieren suficientes datos históricos y de alta calidad para crear modelos precisos.
• El volumen y la complejidad de los datos: los análisis predictivos y prescriptivos requieren importantes recursos computacionales y de procesamiento de datos. Asegúrese de que su infraestructura y sus herramientas puedan administrar el volumen y la complejidad de los datos.
• La complejidad de la decisión: si las decisiones implican múltiples variables, restricciones y objetivos, el análisis prescriptivo puede ser más adecuado para guiar las acciones óptimas.
  
• La tolerancia al riesgo: el análisis prescriptivo puede proporcionar recomendaciones, pero conlleva incertidumbres asociadas. Asegúrese de que los responsables de la toma de decisiones entiendan los riesgos asociados a los resultados analíticos.

Evalúe las necesidades de escalabilidad y rendimiento de la arquitectura. El diseño debe administrar los crecientes volúmenes de datos, las demandas de los usuarios y las cargas de trabajo analíticas. Algunos factores clave de decisión a tener en cuenta incluyen:

• El volumen y el crecimiento de los datos: evalúe el volumen de datos actual y anticipe el crecimiento futuro. 
• Los requisitos de velocidad de datos y en tiempo real: determine si los datos deben procesarse y analizarse en tiempo real o casi en tiempo real.
• La complejidad del procesamiento de datos: analice la complejidad de las tareas de procesamiento y el análisis de datos. Para las tareas informáticas intensivas, los servicios como Amazon EMR proporcionan un entorno escalable y administrado para el procesamiento de macrodatos.
• La simultaneidad y la carga de usuarios: tenga en cuenta la cantidad de usuarios simultáneos y el nivel de carga de usuarios en el sistema. 
• Las capacidades de escalamiento automático: considere los servicios que ofrecen capacidades de escalamiento automático, lo que permite que los recursos escalen verticalmente o desescalen verticalmente de forma automática en función de la demanda. Esto garantiza una utilización eficiente de los recursos y la optimización de los costes.
• La distribución geográfica: considere los servicios con replicación global y acceso a los datos de baja latencia si su arquitectura de datos necesita distribuirse en varias regiones o ubicaciones.
• La compensación entre los costes y el rendimiento: equilibre las necesidades de rendimiento con las consideraciones de costes. Los servicios de alto rendimiento pueden tener mayores costes.
  
• Los acuerdos de nivel de servicio (SLA): compruebe los SLA proporcionados por los servicios de AWS para asegurarse de que cumplen sus expectativas de escalabilidad y rendimiento.

La gobernanza de datos es el conjunto de procesos, políticas y controles que debe implementar para garantizar la administración, la calidad, la seguridad y el cumplimiento efectivos de sus activos de datos. Algunos puntos de decisión clave a tener en cuenta incluyen:

• Las políticas de retención de datos: defina políticas de retención de datos en función de los requisitos reglamentarios y las necesidades empresariales y establezca procesos para la eliminación segura de los datos cuando ya no sean necesarios.
  
• El registro y la pista de auditoría: decida los mecanismos de registro y auditoría para supervisar el acceso y el uso de los datos. Implemente pistas de auditoría integrales para realizar un seguimiento de los cambios en los datos, los intentos de acceso y las actividades de los usuarios para supervisar la conformidad y la seguridad.
• Los requisitos de conformidad: comprenda las normas de conformidad de datos geográficas y específicas del sector que se aplican a su organización. Asegúrese de que la arquitectura de datos se alinee con estas normas y directrices.
• La clasificación de datos: clasifique los datos en función de su confidencialidad y defina los controles de seguridad adecuados para cada clase de datos. 
  
• La recuperación de desastres y la continuidad empresarial: planifique la recuperación de desastres y la continuidad empresarial para garantizar la disponibilidad y la resiliencia de los datos en caso de eventos inesperados o fallas del sistema.
• El intercambio de datos con terceros: si comparte datos con entidades de terceros, implemente protocolos y acuerdos seguros de intercambio de datos para proteger la confidencialidad de los datos y evitar el uso indebido de los mismos.

La seguridad de los datos en la canalización de análisis implica proteger los datos en cada etapa del proceso para garantizar su confidencialidad, integridad y disponibilidad. Algunos puntos de decisión clave a tener en cuenta incluyen:

• El control y la autorización de acceso: implemente protocolos sólidos de autenticación y autorización para garantizar que solo los usuarios autorizados puedan acceder a recursos de datos específicos.
• El cifrado de datos: elija los métodos de cifrado adecuados para los datos almacenados en bases de datos, lagos de datos y durante el movimiento de datos entre los diferentes componentes de la arquitectura.
• El enmascaramiento y la anonimización de datos: considere la necesidad de enmascarar o anonimizar los datos para proteger los datos confidenciales, como la información de identificación personal o los datos empresariales confidenciales, y permitir que continúen ciertos procesos analíticos.
• La integración segura de datos: establezca prácticas de integración de datos seguras para garantizar que los datos fluyan de forma segura entre los diferentes componentes de la arquitectura para evitar la filtración de datos o el acceso no autorizado durante el movimiento de los datos.
• El aislamiento de redes: considere los servicios compatibles con los puntos de conexión de AWS VPC para evitar exponer los recursos a la Internet pública.

Defina los puntos de integración y los flujos de datos entre los diversos componentes de la canalización de análisis para garantizar un flujo de datos y una interoperabilidad perfectos. Algunos puntos de decisión clave a tener en cuenta incluyen:

• La integración de los orígenes de datos: identifique los orígenes de datos desde los que se recopilarán los datos, como bases de datos, aplicaciones, archivos o API externas. Decida los métodos de ingesta de datos (por lotes, en tiempo real, basados en eventos) para incorporar los datos a la canalización de manera eficiente y con una latencia mínima.
• La transformación de datos: determine las transformaciones necesarias para preparar los datos para el análisis. Decida las herramientas y los procesos para limpiar, incorporar, normalizar o enriquecer los datos a medida que avanzan en la canalización.
• La arquitectura de movimiento de datos: elija la arquitectura adecuada para el movimiento de datos entre los componentes de la canalización. Considere el procesamiento por lotes, el procesamiento de transmisiones o una combinación de ambos en función de los requisitos en tiempo real y el volumen de datos.
• La replicación y la sincronización de datos: decida los mecanismos de replicación y sincronización de datos para mantener los datos actualizados en todos los componentes. Considere soluciones de replicación en tiempo real o sincronizaciones periódicas de datos según los requisitos de actualización de los datos.
  
• La calidad y la validación de los datos: implemente comprobaciones de calidad de los datos y pasos de validación para garantizar la integridad de los datos a medida que avanzan en la canalización. Decida las acciones que se deben tomar cuando no se pueda completar la validación de los datos, como las alertas o la administración de errores.
• La seguridad y el cifrado de los datos: determine cómo se protegerán los datos durante el tránsito y en reposo. Decida los métodos de cifrado para proteger los datos confidenciales durante todo el proceso, teniendo en cuenta el nivel de seguridad requerido en función de la confidencialidad de los datos.
• La escalabilidad y la resiliencia: asegúrese de que el diseño del flujo de datos permita la escalabilidad horizontal y pueda gestionar el aumento de los volúmenes de datos y del tráfico.

La creación de su canalización de análisis en AWS ofrece diversas oportunidades de optimización de costes. Para garantizar la rentabilidad, considere las siguientes estrategias:

• El dimensionamiento y la selección de los recursos: asigne el tamaño adecuado a sus recursos en función de los requisitos reales de la carga de trabajo. Elija los tipos de instancias y servicios de AWS que se adapten a las necesidades de rendimiento de las cargas de trabajo y, al mismo tiempo, evite el sobreaprovisionamiento.
• El escalamiento automático: implemente el escalamiento automático para los servicios que experimentan cargas de trabajo variables. El escalamiento automático ajusta de forma dinámica la cantidad de instancias en función de la demanda, lo que reduce los costes durante los períodos de poco tráfico.
• Las instancias de spot: utilice las instancias de spot de AWS EC2 para cargas de trabajo no críticas y tolerantes a errores. Las instancias puntuales pueden reducir considerablemente los costes en comparación con las instancias bajo demanda.
• Las instancias reservadas: considere la posibilidad de comprar instancias reservadas de AWS para lograr importantes ahorros de costes con respecto a los precios bajo demanda para cargas de trabajo estables con un uso predecible.
• Niveles del almacenamiento de datos: optimice los costes de almacenamiento de datos mediante el uso de diferentes clases de almacenamiento según la frecuencia de acceso a los datos.
• Las políticas del ciclo de vida de los datos: configure políticas del ciclo de vida de los datos para mover o eliminar automáticamente los datos en función de su antigüedad y sus patrones de uso. Esto ayuda a administrar los costes de almacenamiento y mantiene el almacenamiento de datos alineado con su valor.