Con la proliferación masiva de datos, la automatización de los flujos de trabajo puede ayudar a garantizar que las actividades se llevan a cabo cuando se requieren y donde se requieren para impulsar los procesos analíticos. Antes de que los datos puedan cargarse en una base de datos de análisis o en un almacén de datos de su elección, debe ser optimizado para la carga. Los datos se pueden procesar y analizar de dos maneras diferentes: procesamiento por lotes o procesamiento continuo.
El procesamiento por lotes se realiza utilizando Amazon S3 como almacenamiento para el procesamiento previo y posterior. Luego, se utiliza Amazon Elastic Map Reduce (EMR) además de estos datos con las herramientas del ecosistema de Hadoop. como Spark, Presto, Hive, Pig y otros marcos de procesamiento de datos. El procesamiento por lotes se utiliza a menudo para normalizar los datos, luego calcule consultas arbitrarias sobre los diferentes conjuntos de datos. calcula resultados derivados de todos los datos que abarca y permite un análisis profundo de grandes conjuntos de datos. Una vez tiene los resultados, puede apagar su clúster de Amazon EMR (puede usar la terminación automática en finalización del trabajo) o puede mantenerlo en ejecución para su posterior procesamiento o consulta.
El procesamiento contínuo es generada continuamente por miles de fuentes de datos, normalmente enviando datos simultáneamente en tamaños pequeños. Los datos de este evento deben procesarse de forma secuencial e incremental. sobre una base de registro por registro o en ventanas de tiempo móviles, y se utiliza para una amplia variedad de análisis. La información de dicho análisis actualiza de forma incremental las métricas, los informes y las estadísticas de resumen. que brinda a las empresas visibilidad sobre muchos aspectos de la actividad comercial y del cliente a medida que "transmite en AWS" y permite a las empresas responder rápidamente a situaciones emergentes. Amazon Kinesis o Amazon Kinesis Firehose se utiliza para capturar y cargar datos de transmisión en Amazon S3 o, a menudo, para Desplazamiento al rojo de Amazon. Una vez que los datos están en Amazon Redshift, las herramientas de inteligencia empresarial existentes se utilizan para analizar los datos
Propuesta de valor:
Para poder aprovechar todos los beneficios de la nube de AWS, en una migración de SAP exitosa, es necesario "desgranar" los recursos y re-ubicarlos en los diferentes servicios disponibles, utilizando las mejores prácticas de seguridad. En Criptonube realizamos un importante proceso el cual detallamos a continuación:
