Wir haben uns bereits in früheren Blog-Einträgen mit dem Thema Datenstreaming beschäftigt und festgestellt, dass Datenstreaming die neue und moderne Art der Batch-Verarbeitung ist.

Seit Beginn der Datenverarbeitung gibt es die Batch- oder Stapelverarbeitung. Eine Verarbeitungsform, in der Eingabedaten eingelesen, gespeichert und dann mit den Stammdaten verarbeitet werden. Jeder, der mit der Datenverarbeitung groß geworden ist, kennt diese Verarbeitungsform. Auch heute wird sie in jedem Rechenzentrum täglich durchgeführt. Das sogenannte „Batch-Fenster“ ist strategisch wichtig und sehr oft nicht ausreichend für die Verarbeitung der Daten.

In der heutigen Zeit sind Echtzeitreaktionen und -analysen von Bedeutung. Die Daten werden kontinuierlich verarbeitet und analysiert. Die Ergebnisse sind nahezu in Echtzeit verfügbar. Auf diese Ereignisse in Echtzeit reagieren zu können, ist für viele Unternehmen unabdingbar und lebenswichtig.

Im Gegensatz hierzu ist die traditionelle Methode, aufgrund der vorhandenen Daten Geschäftsanalysen zu machen, die als Grundlage für Geschäftsentscheidungen dienen, die sogenannte Business Intelligence (BI) Methode. Die Verarbeitung der Daten mittels der Stream-Methode unterscheidet sich somit von BI, indem Daten direkt bei der Entstehung analysiert und verarbeitet werden.

Beide Methoden sind für ein modernes Unternehmen entscheidend. Für langfristige Zukunftsplanungen sind die Erfahrungen der Gegenwart und der Vergangenheit wichtig. Für unmittelbare Reaktionen – insbesondere im täglichen Wettbewerb – sind die direkten Ergebnisse des Datenstreaming wichtig.

Der wesentliche Unterschied zur Batch-Verarbeitung liegt somit in der direkten Verarbeitung der Daten nach ihrer Entstehung oder Empfang. Diese Verarbeitung findet kontinuierlich und nahezu in Echtzeit statt. Dies hängt natürlich von der Anwendung ab, welche die Daten verarbeitet und analysiert. Im Open Source Bereich z.B. Apache Spark, Apache Flink, Apache Storm oder Kafka Streams. Auch die großen Player im Bereich Cloud-Computing und Big Data bieten Streaming-Anwendungen an: AWS Kinesis, Google Dataflow oder Microsoft Azure Stream Analytics.

Das Einsatzgebiet von Datenstreaming ist in allen Bereichen und Branchen zu finden.

Das „Internet of Things (IoT)“ ist ebenfalls ein klassisches Einsatzgebiet, da die empfangenen Sensordaten zeitkritisch verarbeitet werden. So können z.B. Wartungsarbeiten an Maschinen sofort erkannt und durchgeführt werden.

Die traditionelle Mainframe IT, die bisher mit klassischen Batch- bzw. Online-Verarbeitungen ihre Daten verarbeitet hat ist nun mit Datenstreaming gefordert, ihre Daten in Echtzeit in die Systeme zu streamen, welche die Analyse der Daten vornimmt.

tcVISION spielt im Datenstreaming eine zentrale und wichtige Rolle.

tcVISION ist der Lieferant der Daten, die beispielsweise in einer Online-Verarbeitung auf einem Mainframe-System entstehen (CICS, IMS/DB, Software AG Adabas/Natural, CA IDMS) und in Echtzeit von tcVISION festgestellt (Capturing) und als Datenstrom in eine Big Data Umgebung eingestellt (Streaming) werden. Die gleichen Möglichkeiten bietet tcVISION auch im Bereich der Batch-Verarbeitung. Mehrere Technologien werden von tcVISION angeboten, Batch Änderungsdaten zu ermitteln und als Datenstrom zur Echtzeitanalyse in eine Big Data Umgebung einzustellen (Log File Verarbeitung, Echtzeit Capturing, Batch Compare).

Die B.O.S. Software hat bereits im Jahre 2017 eine solche Lösung mit Apache Kafka vorgestellt.

tcVISION als Confluent Source Connector.

Seit Anfang 2019 ist die B.O.S. Software Service und Vertrieb GmbH nun ein „Verified Standard“ Partner der Confluent. Das Unternehmen mit Hauptsitz in Palo Alto, Kalifornien, wurde von den Entwicklern der Open-Source Lösung Apache Kafka gegründet und bietet eine führende Streaming-Plattform an, die es einem Unternehmen ermöglicht, den Wert ihrer Daten zu maximieren.

Unsere Partnerschaft mit Confluent ermöglicht es Nutzern, einfach und schnell Daten aus Enterprise-Anwendungen von Mainframes und Distributed Systemen in ihre Streaming-Plattform in Echtzeit zu integrieren und auf diese Echtzeit-Streams mit Unternehmensdaten zuzugreifen.

Sowohl Echtzeit-Analytics und BI Lösungen, als auch die Modernisierung von Anwendungen, welche die Verlagerung von Daten und Anwendungen mit sich bringen, werden durch die Nutzung von tcVISION erheblich erleichtert. Der Aufwand für die Implementierung und Realisierung der Confluent Streaming-Plattform mit Integration von Echtzeit-Daten aus Mainframe und Distributed Systemen wird durch tcVISION erheblich reduziert und ist in kürzerer Zeit realisierbar.

Detaillierte Informationen finden Sie hier.

Praktische Anwendungserfahrungen beim Kunden liegen vor und die Akzeptanz und Nachfrage sind groß. tcVISION unterstützt bereits alle strategisch wichtigen Big Data Systeme und Anwendungen. Weitere werden in der Zukunft folgen.

Eine Übersicht aller unterstützter Eingabe- und Ausgabeziele finden Sie hier.

Unsere tcVISION Lösung ist bestens dazu geeignet, den traditionellen Mainframe (egal ob das Betriebssystem z/OS oder z/VSE heißt) über Datenstreaming mit einer Big Data Umgebung oder einer Cloud zu verbinden.