B.O.S. Software und Confluent –
der Zusammenfluss von Mainframe, Open System und BigData

Peter M. Horbach, 13. Mai 2019

Confluent mit Hauptsitz in Palo Alto, Kalifornien, wurde von den Entwicklern der Open-Source-Lösung Apache Kafka gegründet. Das Unternehmen bietet eine führende Event-Streaming Plattform an, welche es den Unternehmen ermöglicht, einfach auf ihre Daten in Form von Echtzeit Streams zuzugreifen und somit den Wert ihrer Daten zu maximieren.

Jedes Datenbyte, so die Aussage von Confluent, habe eine Geschichte zu erzählen. In einem datenabhängigen Unternehmen ist die Bewegung, Analyse und Verteilung der Daten genau so wichtig wie die Daten selbst.

Die Plattform von Confluent erlaubt es, Daten aus verschiedenen Systemen in eine Echtzeit-Datenpipeline zu übertragen. Heute konzentriert sich Confluent auf die Weiterentwicklung der Streaming-Plattform, die es Unternehmen ermöglicht, schnell und einfach auf Echtzeit-Streams mit Unternehmensdaten zuzugreifen.

Da sich Confluent überwiegend mit Plattformen der Offenen Welt beschäftigt hat, ist die B.O.S. an Confluent herangetreten und die Möglichkeit aufgezeigt, Mainframe-Daten in das Event-Streaming Konzept mit einzubeziehen.

Die tcVISION Lösung der B.O.S. bot zu diesem Zeitpunkt bereits eine komplette Schnittstelle zu Kafka an und Confluent konnte anhand einer Online Demo überzeugend demonstriert werden, wie beliebige Mainframe Daten in das Event-Streaming implementiert werden können.

Seit Anfang 2019 ist die B.O.S. Software Service und Vertrieb GmbH nun ein „Verfied Standard“ Partner der Confluent.

B.O.S. bietet mit tcVISION eine der führenden Datenintegrationslösungen für die umfassende Realisierung von Datenaustauschlösungen, Datensynchronisation, Verteilung und Replikation sowie Migration im Umfeld heterogener Systemumgebungen an. Die „minimal impact“ Change Data Capture Technologie für eine Vielzahl von Mainframe, LUW und Cloud basierter Datenquellen beschleunigt den Aufbau moderner Echtzeit Enterprise Datenarchitekturen.

tcVISION ist eine komplette Integrationsplattform. Sie umfasst den kompletten Datenaustauschprozess, d.h. das Extrahieren der Daten an der Datenquelle, die Transformation der Daten zur Aufbereitung für die Datenziele sowie den direkten APPLY in die Datenziele ohne Notwendigkeit der Zwischenspeicherung.

Innerhalb von tcVISION ist Kafka vollständig unterstützt als ein Ausgabeziel, einschließlich einer Authentifikation durch Kerberos und geschützter Datenverbindung über SSL. tcVISION streamt die Daten nach Kafka über JSON oder AVRO.

Die Partnerschaft mit Confluent ermöglicht es Nutzern der Streaming-Plattform, einfach und schnell Daten aus Enterprise Anwendungen von Mainframes und Distributed Systemen in die Streaming Plattform in Echtzeit zu integrieren und auf diese Echtzeit-Streams mit Unternehmensdaten zuzugreifen.

Echtzeit-Analytics und BI Lösungen, sowie die Modernisierung von Anwendungen und die damit zusammenhängende Verlagerung von Daten und Anwendungen, wird durch die Nutzung von tcVISION erheblich erleichtert. Auch der Aufwand für die Implementierung sowie die Realisierung der Confluent Streaming-Plattform mit Integration von Echtzeit-Daten aus Mainframe und Distributed Systemen wird erheblich reduziert und ist in kürzerer Zeit realisierbar.

Für den Anwender ergeben sich unter anderem die folgenden Vorteile:

  • Die Datenaustausch-Kosten werden durch Konzentration auf Änderungsdaten durch tcVISION auf ein Minimum reduziert.
  • Replikation von Mainframedaten nach Big Data erlaubt Realtime Analytics.
  • Die Nutzung von Mainframe-Ressourcen wird so weit wie möglich reduziert, um Mainframe-Knowhow und MIPS zu sparen.

Weitere detaillierte Informationen und ein Video, in dem Sie sehen können, wie tcVISION mit Kafka (Big Data) funktioniert, finden Sie hier.

Realtime oder Near Realtime, das ist oft die Frage

Peter M. Horbach, 29.04.2019

Die B.O.S. Software Service und Vertrieb GmbH hat sich in der vergangenen Dekade zu einem führenden Unternehmen in den Bereichen Datensynchronisation, Datenaustausch, Datentransformation und Mainframe Direktzugriff entwickelt. Kunden aus den unterschiedlichsten Branchen auf der ganzen Welt setzen unsere tcVISION Lösung ein. Nicht nur Kunden mit einem Mainframe als Herzen ihrer IT, sondern auch Kunden mit unterschiedlichen Open Server Plattformen nutzen die Flexibilität und Effizienz unserer Lösung.

Wir wollen mit diesem Blog Interessenten als auch Kunden nähere Einblicke in unsere Arbeit gewähren.

Im ersten Teil dieses Blogs setzen wir uns mit der Frage auseinander:

Was ist Realtime und was ist Near Realtime?

Nahezu alle Anbieter von Lösungen zur Datensynchronisation verwenden den Begriff Realtime. Dazu gehört auch die B.O.S. Software. Stellen Sie sich bitte die folgenden Szenarien vor:

1. Zentraler Mainframe mit dem Betriebssystem z/OS oder z/VSE, VSAM, IMS bzw. DLI Datenbanken und einer neuen Anwendungsplattform mit Linux (Intel, Unix oder System z) und einer relationalen Datenbank (z.B. Db2 LUW oder ORACLE).

Die produktiven Mainframe-Daten (VSAM, IMS und DLI) sollen im Online bzw. Batch Betrieb mit den Datenbanken unter Linux ohne messbaren Zeitverlust synchronisiert werden.

tcVISION ermittelt die Änderungsdaten unter VSAM bzw. IMS/DLI zum Zeitpunkt der Änderung und repliziert diese Daten an das Linux Zielsystem, wo sie aufbereitet, bearbeitet und in die entsprechenden Tabellen der Zieldatenbank appliziert werden.

tcVISION bietet hierzu unterschiedliche Technologien an, die zum Einsatz gebracht werden können (z/OS oder tcVISION Logstreams und aktive Datenbank-Logs). Alle diese Verfahren ermitteln die Änderungsdaten in Realtime und bis zum Einspielen in das Zielsystem vergehen keine Sekunden. Voraussetzung ist eine technische Infrastruktur, die ohne Engpässe und Performanceprobleme arbeitet.

2. Zentraler Mainframe mit dem Betriebssystem z/OS, IMS und Db2 Datenbanken und einer neuen BigData Plattform mit HADOOP.

Die Änderungsdaten sollen immer dann ermittelt und übertragen werden, wenn unter IMS bzw. Db2 eine Logdatei archiviert wird.

tcVISION verarbeitet die archivierten Logdateien entweder direkt auf dem Mainframe oder nach einem File-Transfer auf eine Windows oder Unix Plattform. Zwischen der Erstellung der Daten und der Verarbeitung kann eine Latenz von mehreren Minuten liegen, die vom Kunden eingeplant und den Analytics Anforderungen für BigData gerecht ist.

Diese Art der Verarbeitung ist eine Near Realtime Verarbeitung.

Die oben gezeigten Szenarien können auf allen von tcVISION unterstützten Plattformen durchgeführt werden.

Fassen wir zusammen:

Realtime oder Echtzeit-Verarbeitung bedeutet, dass die Daten unmittelbar nach der Änderung erfasst und verarbeitet werden. Auch hier ist eine Latenzzeit zu erkennen, die jedoch in Sub-Second Bereichen ist und dem Begriff Echtzeit nicht entgegen steht.

Ist die gewählte Verarbeitung für die Datensynchronisation auf archivierte Logdateien bzw. Journals ausgelegt, sprechen wir von einer Near Realtime Verarbeitung. Diese Art der Verarbeitung wird oft in den Bereichen Analytics, Reporting und BigData eingesetzt.

Wer braucht Realtime und Near Realtime Daten?

Nahezu alle Unternehmen, unabhängig von Branchen und Industrien, die im globalen Wettbewerb bestehen wollen. Ein Blick auf unsere Kundenbasis bestätigt das. Die meisten Anwendungen sind in den Bereichen Datensynchronisation aufgrund von Anwendungs- und Migrationsanforderungen und in den Bereichen BigData und Cloud-Computing zu finden.

Sie finden hierzu Anwendungsbeispiele auf unserer Webseite.

Methoden der tcVISION Replikationen
tcVISION bietet unterschiedliche Methoden an, um Änderungsdaten zu ermitteln:
Realtime
Betriebssystem Methode Quelle
z/OS Logstreams CICS, Shared VSAM, tcVISION Logstreams
  Active Logs Db2, IMS, ADABAS,DATACOM, IDMS
z/VSE tcVISION Kollektor VSAM, Db2, DLI
  Active Logs ADABAS, DATACOM, IDMS
Windows/UNIX, Linux Log Verarbeitung Db2, MS SQL-Server, Oracle, MySQL/MariaDB, ADABAS PostgreSQL, Informix
Near Realtime
Betriebssystem Methode Quelle
z/OS Archive Logs* Db2, IMS, ADABAS,DATACOM, IDMS
z/VSE Archive Logs* ADABAS, DATACOM, IDMS
Windows/UNIX, Linux Archive Logs Db2, MS SQL-Server, Oracle, MySQL/MariaDB, ADABAS PostgreSQL, Informix
* Archivierte Logs können entweder auf dem Mainframe oder auf einer Windows, Unix, Linux Plattform verarbeitet werden.
Weitere Methoden

Eine spezielle Methode, die von tcVISION angeboten wird, ist das sogenannte Batch-Compare Verfahren. Dieses Verfahren vergleicht eine beliebige Datei (alle unterstützten Quellen) mit einer in einem vorherigen Lauf erstellten Snapshot-Datei, um die Änderungen zu ermitteln.

Für das Einpflegen von Massendaten bzw. das erstmalige Laden der Daten steht der tcVISION BULK Reader und Loader zur Verfügung. Diese Komponente kann entweder direkt auf die Datenquellen zugreifen oder auf Image-, Backup- bzw. Unload-Dateien. Das Einpflegen der Daten in die Zieldatenbank kann über SQL bzw. über die Loaderfunktion der Datenbank erfolgen.

Möchten Sie mehr erfahren?

tcVISION ist eine extrem flexible, systemübergreifende Lösung für die zeitnahe, bidirektionale Datensynchronisation und Replikation auf Basis von Änderungsdaten. Datenaustausch wird zur Single-Step-Operation. Der Einsatz von Middleware oder Message Queueing ist nicht notwendig. Der Datenaustausch erfolgt im Raw-Format in komprimierter Form und reduziert sich auf das Delta von Änderungsdaten. Daten können in Echtzeit, zeitgesteuert oder ereignisgesteuert sowohl uni- als auch bidirektional bewegt werden.

Setzen Sie sich mit uns in Verbindung oder melden Sie sich für unseren Newsletter an.

Unser Support-Team unterstützt Sie gerne bei der Implementation unserer Software-Lösungen. Wir haben uns hohe Maßstäbe gesetzt, um unseren Kunden optimalen Service zu bieten. Die Mitarbeiter unseres Support-Teams zeichnen sich durch hervorragende Produktkenntnisse aus und verfügen über ein breites Spektrum an Fachwissen im gesamten Umfeld, in dem unsere Lösungen eingesetzt werden.

Sowohl im Bereich unserer Großrechnerlösungen, als auch für unsere Client-Server-Lösungen stehen Ansprechpartner zur Verfügung, die nicht nur qualifiziert Auskunft hinsichtlich einer optimalen Produktnutzung erteilen können. Aufgrund ihrer Fachkompetenz sind sie vielmehr auch in der Lage, unsere Kunden bei der Erarbeitung und Realisierung individueller Implementationskonzepte tatkräftig zu unterstützen.

Peter M. Horbach ist freier Mitarbeiter der B.O.S. Mit über 40 Jahren IT Erfahrung ist er seit vielen Jahren in den Bereichen Datensynchronisation und Replikation tätig. Für die B.O.S. pflegt er Kontakte zu den internationalen Partnern und schreibt den Blog.
Wie können wir Ihnen helfen?
Cookies erleichtern die Bereitstellung unserer Dienste. Mit der Nutzung unserer Dienste erklären Sie sich damit einverstanden, dass wir Cookies verwenden.
Weitere Informationen Ok Ablehnen