Un importante valor añadido de los modernos sistemas de TI es la integración de datos y procesos sin latencias en transacciones y análisis. Especialmente para esta tarea, la plataforma de integración entre sistemas tcVISION es única, eficiente y muy fiable. Con tcVISION, los datos de mainframe pueden integrarse rápida y fácilmente en aplicaciones operativas basadas en Apache Kafka, BI y análisis, todo ello en tiempo real.

En estos entornos, la solución tcVISION ha sido probada en la práctica y está en constante desarrollo para satisfacer las crecientes necesidades de estas nuevas tecnologías. Teniendo esto en cuenta, Apache Kafka es una plataforma de salida totalmente integrada para la versión actual de tcVISION V6.

Apache Kafka es ideal para hacer frente a los desafíos propios del entornos de Big Data al tratarse de un sistema distribuido y también escalable en tiempo real.

Como en todas las plataformas de salida de tcVISION, la transmisión de datos a través de Apache Kafka se basa en una interfaz estándar oficial, con una implementación rápida y fácilmente.

Además, la transmisión de datos a Apache Kafka como capa de transporte mejora la conectividad de grandes sets de datos con tcVISION.

Los protocolos utilizados actualmente para la transferencia de datos a Apache Kafka son JSON y AVRO. El objetivo principal de la plataforma de integración tcVISION es la sincronización en tiempo real para integrar datos de mainframe en las soluciones basadas en Kafka.

Características

La plataforma de integración de tcVISION está formada por múltiples componentes de última generación que abarcan mucho más que los procesos ETL.

  • El intercambio de datos para sincronización y replicación en tiempo real se convierte en una operación de un único paso gracias tcVISION.
  • Y no hay necesidad de middleware adicional
  • Varias tecnologías Change Data Capture permiten una selección efectiva de los datos necesarios desde el sistema fuente, con los datos modificados como centro de atención. El intercambio de datos se reduce por tanto a lo esencial, reduciendo así costes.
  • En lugar de datos de producción, tcVISION también puede utilizar archivos de copia de seguridad y recuperación (por ejemplo, en imagen, archivos de registro, DESCARGAS) como fuentes para replicación.
  • tcVISION permite una carga rápida y eficiente de grandes volúmenes de datos de mainframe a Apache Kafka (streaming). Al hacerlo, los costes necesarios para el procesador en el mainframe se mantienen muy bajos.
  • El repositorio integrado garantiza además una gestión de datos trazable independientemente de la plataforma utilizada.
  • Y tampoco se requieren conocimientos técnicos de mainframe para completar la replicación.
  • tcVISION contiene un conjunto de reglas para la transformación de datos en un formato que cumpla los requisitos del objetivo y permite el procesamiento a medida del usuario gracias a las API existentes.
  • El concepto de fases integrado (staging) soporta la descarga de datos modificados en formato en bruto a sistemas de procesadores más rentables. Esto reduce al mínimo los recursos necesarios del mainframe.
  • Los datos pueden prepararse también para su uso en sistemas de destino de plataformas más económicas (Linux, UNIX o MS-Windows).
  • La transferencia y streaming de datos a Apache Kafka es parte del intercambio de datos que permite implementar tcVISION. Y tampoco se requieren archivos intermedios.
  • El intercambio de grandes volúmenes de datos entre el entorno de mainframe de producción y los sets de Big Data puede paralelizarse fácilmente, reduciendo al mínimo la latencia.
  • tcVISION, como plataforma de integración, incluye amplios mecanismos de control y funciones de monitorización para el intercambio automatizado de datos.
  • tcVISION fue desarrollada para permitir el desarrollo de proyectos basados en Kafka con total autonomía y el menor consumo posible de recursos del mainframe.
Características soportadas de Kafka y Confluent
  • tcVISION utiliza Kerberos para el procedimiento de autentificación en Kafka.
  • tcVISION también soporta SSL para comunicarse con Kafka.
  • tcVISION usa el sistema Confluent Schema Registry para crear esquemas de registro.
Fuentes CDC compatibles con tcVISION
IBM System/z Plataformas LUW
  • Db2 z/OS*
  • Db2 z/VSE
  • IMS/DB
  • DL/I
  • VSAM
  • CA IDMS
  • CA Datacom
  • Adabas
  • Db2 LUW*
  • Db2 BLU*
  • Adabas LUW
  • MS-SQL Server*
  • Oracle*
  • MySQL*
  • MariaDB*
  • PostgreSQL*
  • Informix

* Posible sin necesidad de agente

Ventajas
  • La replicación casi en tiempo real de datos del mainframe a Big Data permite realizar análisis en tiempo real.
  • También es posible reubicar aplicaciones del mainframe (por ejemplo, aplicaciones de Internet, como banca en línea o de administración electrónica) a un entorno de Big Data usando datos sincronizados en ambas plataformas.
  • Los costes para el intercambio de datos se reducen al mínimo gracias al enfoque en los datos modificados.
  • El uso de recursos del mainframe se reduce en todo lo posible, ahorrando también en MIPS.
  • Con tcVISION, el intercambio de datos se puede realizar sin necesidad de conocimientos sobre el mainframe, lo que permite ahorrar costes y desarrollar e implementar rápidamente grandes proyectos de Big Data.
  • La replicación casi en tiempo real desde el mainframe a Big Data gracias a tcVISION permite reubicar aplicaciones de BI, generación de informes y análisis para alojarlas en plataformas de datos más rentables y, dependiendo del fin, más potentes.
  • Compensación por la disminución del know-how sobre mainframe
Así funciona tcVISION con Kafka:
Cookies make it easier for us to provide you with our services. With the usage of our services you permit us to use cookies.
More information Ok Decline