Cursos de Procesamiento de flujo en Columbia

Apache Samza es un marco computacional asíncrono de código abierto casi en tiempo real para el procesamiento de flujos. Utiliza Apache Kafka para mensajería y Apache Hadoop YARN para tolerancia a fallas, aislamiento de procesador, seguridad y administración de recursos. Esta capacitación en vivo dirigida por un instructor presenta los principios detrás de los sistemas de mensajería y el procesamiento distribuido de flujo, mientras acompaña a los participantes a través de la creación de un proyecto basado en Samza y la ejecución de trabajos. Al final de esta capacitación, los participantes podrán: Usa Samza para simplificar el código necesario para producir y consumir mensajes
Desacoplar el manejo de los mensajes de una aplicación
Utilice Samza para implementar cálculos asincrónicos casi en tiempo real
Utilice el procesamiento de flujo para proporcionar un mayor nivel de abstracción en los sistemas de mensajería

Audiencia

• Desarrolladores

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica

Kafka Streams es una biblioteca del lado del cliente para la creación de aplicaciones y microservicios cuyos datos se transmiten desde y hacia un sistema de mensajería Kafka. Tradicionalmente, Apache Kafka ha confiado en Apache Spark o Apache Storm para procesar datos entre productores de mensajes y consumidores. Al llamar a Kafka Streams API desde dentro de una aplicación, los datos se pueden procesar directamente dentro de Kafka, pasando por alto la necesidad de enviar los datos a un clúster separado para su procesamiento. En esta capacitación en vivo dirigida por un instructor, los participantes aprenderán cómo integrar Kafka Streams en un conjunto de aplicaciones Java de muestra que pasan datos desde y hacia Apache Kafka para el procesamiento de flujo. Al final de esta capacitación, los participantes podrán:

• Comprenda las características y ventajas de Kafka Streams frente a otros marcos de procesamiento de flujos
• Procesar datos de flujo directamente dentro de un clúster de Kafka
• Escriba una aplicación Java o Scala o microservicio que se integre con Kafka y Kafka Streams
• Escribe un código conciso que transforme los temas de entrada de Kafka en temas de salida de Kafka
• Construye, empaqueta y despliega la aplicación

Audiencia

• Desarrolladores

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica

Notas

• Para solicitar una capacitación personalizada para este curso, contáctenos para hacer arreglos.

En esta capacitación en vivo dirigida por un instructor en Columbia (in situ o remota), los participantes aprenderán a configurar e integrar diferentes marcos Stream Processing con los sistemas de almacenamiento de big data existentes y las aplicaciones de software y microservicios relacionados. Al final de esta capacitación, los participantes serán capaces de:

• Instale y configure diferentes Stream Processing marcos, como Spark Streaming y Kafka Streaming.
• Comprender y seleccionar el marco más adecuado para el trabajo.
• Procesamiento de datos de forma continua, concurrente y registro por registro.
• Integre Stream Processing soluciones con bases de datos, almacenes de datos, lagos de datos, etc. existentes.
• Integre la biblioteca de procesamiento de flujos más adecuada con aplicaciones empresariales y microservicios.

este entrenamiento en vivo (in situ o remoto) dirigido por un instructor está dirigido a ingenieros que deseen utilizar Confluent (una distribución de Kafka) para construir y administrar una plataforma de procesamiento de datos en tiempo real para sus aplicaciones. al final de esta formación, los participantes podrán:

• instalar y configurar la plataforma Confluent.
• use herramientas y servicios de administración de Confluent & #39; s para ejecutar Kafka más fácilmente.
• Store y procese los datos de la secuencia entrante.
• optimice y administre clústeres de Kafka.
flujos de datos
• Secure.

Format del curso

Conferencia y discusión
• Interactive.
• muchos ejercicios y prácticas.
implementación práctica de
• en un entorno de laboratorio en vivo.

Opciones de personalización de Course

• este curso se basa en la versión de código abierto de Confluent: fuente abierta Confluent.
• para solicitar una formación personalizada para este curso, póngase en contacto con nosotros para organizar.

Esta capacitación en vivo dirigida por un instructor en Columbia (en línea o en el sitio) está dirigida a ingenieros de datos, científicos de datos y programadores que deseen utilizar las funciones de Apache Kafka en la transmisión de datos con Python. Al final de esta capacitación, los participantes podrán usar Apache Kafka para monitorear y administrar condiciones en flujos de datos continuos utilizando Python programación.

Esta capacitación en vivo dirigida por un instructor en Columbia (en línea o en el sitio) presenta los principios y enfoques detrás del procesamiento de datos de flujo distribuido y por lotes, y guía a los participantes a través de la creación de una aplicación de transmisión de datos en tiempo real en Apache Flink. Al final de esta capacitación, los participantes podrán:

Configure un entorno para desarrollar aplicaciones de análisis de datos. Comprenda cómo funciona la biblioteca de procesamiento de gráficos de Apache Flink (Gelly). Empaquete, ejecute y supervise aplicaciones de transmisión de datos basadas en Flink y tolerantes a fallos. Gestione diversas cargas de trabajo. Realice análisis avanzados. Configure un clúster de Flink de varios nodos. Mida y optimice el rendimiento. Integre Flink con diferentes Big Data sistemas. Compare las capacidades de Flink con las de otros marcos de procesamiento de big data.

En esta capacitación en vivo dirigida por un instructor en Columbia (in situ o remota), los participantes aprenderán a implementar y administrar Apache NiFi en un entorno de laboratorio en vivo. Al final de esta capacitación, los participantes serán capaces de:

• Instale y configure Apachi NiFi.
• Obtenga, transforme y administre datos de fuentes de datos dispares y distribuidas, incluidas bases de datos y lagos de big data.
• Automatice los flujos de datos.
• Habilite el análisis de streaming.
• Aplique varios enfoques para la ingesta de datos.
• Transfórmate Big Data y conviértete en información empresarial.

En esta capacitación en vivo dirigida por un instructor en Columbia, los participantes aprenderán los fundamentos de la programación basada en flujos a medida que desarrollan una serie de extensiones, componentes y procesadores de demostración utilizando Apache NiFi. Al final de esta capacitación, los participantes serán capaces de:

• Comprenda la arquitectura de NiFi y los conceptos de flujo de datos.
• Desarrolle extensiones utilizando NiFi y API de terceros.
• Desarrollar a medida su propio procesador Apache Nifi.
• Ingiera y procese datos en tiempo real de formatos de archivo y fuentes de datos dispares y poco comunes.

Apache Storm es un motor de computación distribuido en tiempo real que se utiliza para habilitar la inteligencia empresarial en tiempo real. Lo hace al permitir que las aplicaciones procesen de forma confiable flujos de datos ilimitados (a.k.a. procesamiento de flujo). "Storm es para procesar en tiempo real lo que Hadoop es para el procesamiento por lotes". En esta capacitación en vivo dirigida por un instructor, los participantes aprenderán cómo instalar y configurar Apache Storm, luego desarrollarán e implementarán una aplicación Apache Storm para procesar Big Data en tiempo real. Algunos de los temas incluidos en esta capacitación incluyen:

• Apache Storm en el contexto de Hadoop
• Trabajando con datos ilimitados
• Cálculo continuo
• Análisis en tiempo real
• Procesamiento distribuido de RPC y ETL

¡Solicite este curso ahora! Audiencia

• Desarrolladores de software y ETL
• Profesionales de mainframe
• Científicos de datos
• Analistas de Big Data
• Profesionales de Hadoop

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica

Apache Apex es una plataforma nativa de YARN que unifica la transmisión y el procesamiento por lotes. Procesa big data-in-motion de una manera que es escalable, de rendimiento, tolerante a fallas, con estado, seguro, distribuido y de fácil operación. Este curso en vivo dirigido por un instructor presenta la arquitectura de procesamiento de flujo unificado de Apache Apex y guía a los participantes a través de la creación de una aplicación distribuida usando Apex en Hadoop. Al final de esta capacitación, los participantes podrán:

• Comprender los conceptos de canalización de procesamiento de datos, como conectores para fuentes y sumideros, transformaciones de datos comunes, etc.
• Cree, escale y optimice una aplicación Apex
• Procesar flujos de datos en tiempo real de manera confiable y con mínima latencia
• Utilice Apex Core y la biblioteca Apex Malhar para permitir el desarrollo rápido de aplicaciones
• Use la API Apex para escribir y reutilizar el código Java existente
• Integra Apex en otras aplicaciones como un motor de procesamiento
• Sintonizar, probar y escalar aplicaciones Apex

Audiencia

• Desarrolladores
• Arquitectos empresariales

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica

Apache Beam es un modelo de programación unificada de fuente abierta para definir y ejecutar tuberías de procesamiento de datos en paralelo Su poder radica en su capacidad para ejecutar canalizaciones por lotes y streaming, y la ejecución se lleva a cabo por uno de los backends de procesamiento distribuido admitidos por Beam: Apache Apex, Apache Flink, Apache Spark y Google Cloud Dataflow Apache Beam es útil para tareas ETL (Extraer, Transformar y Cargar), como mover datos entre diferentes medios de almacenamiento y fuentes de datos, transformar datos en un formato más deseable y cargar datos en un nuevo sistema En este entrenamiento en vivo instrumentado (in situ o remoto), los participantes aprenderán a implementar los SDK de Apache Beam en una aplicación Java o Python que define un canal de procesamiento de datos para descomponer un gran conjunto de datos en trozos más pequeños para un procesamiento paralelo independiente Al final de esta capacitación, los participantes podrán: Instalar y configurar Apache Beam Use un único modelo de programación para llevar a cabo el procesamiento por lotes y de flujo desde su aplicación Java o Python Ejecutar tuberías en múltiples entornos Audiencia Desarrolladores Formato del curso Conferencia de parte, parte de discusión, ejercicios y práctica manual Nota Este curso estará disponible Scala en el futuro Por favor contáctenos para hacer arreglos .

Esta capacitación en vivo dirigida por un instructor en Columbia (en línea o en el sitio) está dirigida a desarrolladores que desean aprender los principios detrás del almacenamiento en memoria persistente y puro a medida que avanzan en la creación de un proyecto de computación en memoria de muestra. Al final de esta capacitación, los participantes podrán:

Utilice Ignite para la persistencia en memoria y en disco, así como para una base de datos en memoria puramente distribuida. Logre persistencia sin sincronizar los datos con una base de datos relacional. Utilice Ignite para llevar a cabo SQL uniones distribuidas. Mejore el rendimiento acercando los datos a la CPU, utilizando la RAM como almacenamiento. Distribuya conjuntos de datos en un clúster para lograr escalabilidad horizontal. Integre Ignite con procesadores RDBMS, NoSQL, Hadoop y aprendizaje automático.

Esta capacitación en vivo dirigida por un instructor en Columbia (en línea o en el sitio) está dirigida a desarrolladores que desean implementar Apache Kafka procesamiento de secuencias sin escribir código. Al final de esta capacitación, los participantes serán capaces de:

• Instale y configure Confluent KSQL.
• Configure una canalización de procesamiento de secuencias utilizando solo comandos SQL (sin codificación Java o Python).
• Lleve a cabo el filtrado de datos, las transformaciones, las agregaciones, las uniones, las ventanas y la sesión completamente en SQL.
• Diseñe e implemente consultas interactivas y continuas para la transmisión de ETL y análisis en tiempo real.

Esta capacitación en vivo dirigida por un instructor en Columbia (en línea o en el sitio) está dirigida a ingenieros de datos, científicos de datos y programadores que deseen utilizar Spark Streaming funciones en el procesamiento y análisis de datos en tiempo real. Al final de esta capacitación, los participantes podrán usar Spark Streaming para procesar flujos de datos en vivo para su uso en bases de datos, sistemas de archivos y paneles en vivo.