-
❌ Push von Adabas und Natural ❌ 6x schnellere Datentransformation via Plug’n’Play Sort für nahtlose Prozessbeschleunigung ❗
NATURAL Sort-Ersatz: Der Schnellerer Weg, um große Datensätze direkt zu sortieren! IRI CoSort enthält eine Plug’n’Play-Sortierbibliothek für Benutzer von Natural unter Unix. Ohne Benutzereingriff und einen einfachen Makefile-Link kann die CoSort Engine in Natural bis zu sechsmal schneller sortieren als die native Sortierung. Eine vollständige Anleitung zur Verwendung von CoSort und einer externen Sortierung finden Sie in der Installationsdokumentation der Software AG Natural unter "Re-Linking a Natural Nucleus". CoSort erschwingliche, bequeme und schnellere Möglichkeit zur Verarbeitung und Berichterstattung großer Dateien, während Sie große Arbeitsdateien von und nach Natural beschaffen und gezielt einsetzen. Schließlich kann es erforderlich sein, dass CoSort Daten in Adabas-Quellen und -Zielen manipuliert, maskiert, repliziert, von ihnen…
-
❌ Excel für BI ❌ Schnellere Datenverarbeitung von einem oder mehreren Excel-Arbeitsblättern zusammen mit Tabellen, Flat-Files und Streaming-Daten ❗
Verarbeitung von Tabellenkalkulationsdaten: Zusätzlich zu allen anderen strukturierten Datenquellen, die die IRI-Software bereits unterstützt, ist es jetzt möglich, Daten aus XLS- und XLSX-Dateien im SortCL-Programm zu lesen und zu verarbeiten! IRI CoSort, für schnelles Sortieren, Umwandeln und Berichten IRI NextForm, für Mapping, Migration und Replikation IRI RowGen, für die zufällige Auswahl oder Generierung von realistischen Testdaten IRI FieldShield, für die Maskierung sensibler Daten IRI Voracity, für alle oben genannten Funktionen sowie für ETL, Datenbereinigung und -aufbereitung für Analysezwecke und zum Zurückschreiben der resultierenden Daten in diese oder andere Ziele, einschließlich eines oder mehrerer Blätter. Dieser Artikel gibt einen Überblick über die Operationen und die Syntax des SortCL-Programms, das mit IRI…
-
❌ Testdaten für CI/CD ❌ Sichere, realistische Testdaten in einer CICD-Pipeline erstellen und verwenden ❗
Erstellung von Testdaten in einer CI/CD-Pipeline: Die Grundlage der DevOps-Automatisierung ist die Möglichkeit zu automatisieren, wo und wann man kann. Die Möglichkeit, IRI-Jobskriptausführungen, die Testdaten maskieren oder synthetisieren, in der CI/CD-Pipeline zu verarbeiten, unterstützt dieses Ziel. Dieser Artikel veranschaulicht ein End-to-End-Beispiel für eine erfolgreiche Integration mit GitLab. Dies ist der erste von vier Artikeln einer Serie; die folgenden Artikel in diesem Blog zeigen, wie man IRI-Testdaten in Amazon CodePipeline, Azure DevOps und Jenkins einspeist. Das Wachstum von DevOps: DevOps ist ein Begriff, den viele, wenn nicht sogar alle von uns gehört haben, wenn es um die neuesten Trends und Bewegungen in der Technologiebranche geht. DevOps kombiniert die Softwareentwicklung (Dev) und den…
-
❌ Datenschutz in NoSQL ❌ Automatische Datenmaskierung von sensiblen Informationen in Elasticsearch wie CSV- oder JSON-Dateien ❗
Wie man PII in Elasticsearch findet und maskiert: Elasticsearch ist eine Java-basierte Suchmaschine, die über eine HTTP-Schnittstelle verfügt und ihre Daten in schemafreien JSON-Dokumenten speichert. Leider werden die Online-Datenbanken von Elasticsearch nach wie vor durch eine Flut von kostspieligen und schmerzhaften Verletzungen von personenbezogenen Daten (PII) geplagt. Würden jedoch alle PII oder andere sensible Informationen in diesen DBs maskiert, wären erfolgreiche Hacks und Entwicklungskopien unter Umständen unproblematisch. Der Zweck von IRI DarkShield ist es, diese Informationen in der Produktion oder im Test mit Hilfe von Anonymisierungsfunktionen, die dem Datenschutzrecht entsprechen, zu sperren. Der Such- und Maskenassistent Elasticsearch in der grafischen IDE der IRI-Workbench für IRI DarkShield verwendet die gleichen Werkzeuge…
-
❌ Schnelle Datentransformation ❌ Wachsendes Data Warehouse bewältigen = ohne zusätzlicher Hardware, Spark oder Hadoop ❗
Die meisten ETL- und ELT-Tools sowie die von ihnen verwendeten Datenbankmodule können große Datenmengen nicht effizient transformieren ohne: eine teure Parallelverarbeitungs-Edition Entnahme von Datenbank- oder Systemressourcen von Dritten eine komplexe, schwer zu wartende Hadoop-Umgebung eine 6 oder 7-stellige Hardware-Appliance oder Server-Upgrades das Problem auf eine noch teurere Datenbank zu übertragen Es sind die großen Sortier-, Joint- und Aggregationsaufträge, die zu lange dauern können. Auch nachfolgende Aufgaben wie das Laden, Analysieren oder BI-Displays leiden. Und diese E-, T- und L-Schritte werden typischerweise in separaten Schritten, I/O-Durchgängen, Produkten oder ständig wechselnden Cloud-Konfigurationen durchgeführt. Lösungen: Wenn Sie andere ETL- oder ELT-Software verwenden, können IRI-Extraktions- und Transformationsprogramme wie FACT oder CoSort – oder die…
-
❌ Cubeware ❌ Push von Datenintegration und optional GDPR-anonymisierte Daten für BI-Analysen in Cubeware Cockpit ❗
Cubeware Cockpit: Cubeware wurde 1997 gegründet und ist ein innovativer Hersteller von BI-Software mit Sitz in Rosenheim, Deutschland. Cubeware bietet Lösungen für Datenmanagement, Visualisierung, Analyse und Planung. Eines der Cubeware Produkte ist Cockpit, der Dashboard-Designer des CSP C8. Cockpit kann Berichte für Windows, Web, Mobile und Snack (Cubeware’s agiles Instant Reporting Tool) erstellen. Es kann auch Daten aus relationalen und multidimensionalen Datenbanken integrieren. In früheren Artikeln im Business Intelligence (BI)-Abschnitt haben wir beschrieben, wie der Umgang mit Daten mit der SortCL-Engine im Datenmanipulationsprodukt IRI CoSort und der Datenverwaltungsplattform Voracity die Zeit bis zur Datenvisualisierung und damit zu verwertbaren Erkenntnissen in BI-Tools verkürzt. In diesem Artikel werden die Vorteile des Data…
-
❌ Datenmapping ❌ Unterschiedliche Quell- und Zieldatentypen bei Datenintegration und Datenmigration automatisch angleichen ❗
Datenbank-Datentypen zuordnen: Der Prozess der Datenübertragung von einer Datenbank (DB) zu einer anderen kann kompliziert sein, wenn diese DBs nicht die gleichen Datentypen verwenden. Ein DB-Datentyp-Mapping-Assistent ist jetzt in IRI Workbench implementiert, um dieses Problem für SortCL-gesteuerte Datenverwaltungsaufgaben mit unterschiedlichen Quellen und Zielen zu lösen. Wenn nach Abschluss einer Aufgabe, wie z. B. der Maskierung mehrerer Tabellen in IRI FieldShield, im Zielschema noch keine Tabellen für die maskierten Daten vorhanden sind, müssen vorab DDL-Skripte (Data Definition Language) zur Erstellung der Tabellen erstellt werden. Nehmen wir nun an, dass sich die Quell- und Zieltabellen in Datenbanken verschiedener Anbieter befinden. Es kann zu Fehlern in der DDL kommen, weil der Assistent, der…
-
❌ Change Data Capture ❌ In Echtzeit auf Änderungen in der Datenbank reagieren mit bspw. Datenreplikation an nachgelagerte Ziele ❗
Zusammenfassung: Daten, die in verschiedenen Branchen gesammelt, verarbeitet und gespeichert werden, werden ständig erzeugt und aktualisiert. Datenbank-Tabellen können mit neuen Daten aus Anwendungen oder Ereignissen in Intervallen aktualisiert werden, die nur Bruchteile von Sekunden betragen. Vor diesem Hintergrund hat IRI Ripcurrent als Zusatzfunktion in Voracity entwickelt, um Datenbank-Daten, die sich in Echtzeit ändern, zu überwachen, zu verschieben und zu verarbeiten. Was ist IRI Ripcurrent? Ripcurrent ist der Name einer von IRI entwickelten Java-Anwendung, die die eingebettete Debezium-Engine und die Streaming-Funktion des SortCL-Programms von IRI CoSort kombiniert, um in Echtzeit auf Datenbank-Änderungsereignisse zu reagieren, indem Daten an nachgelagerte Ziele repliziert werden, optional mit Transformationsregeln (z. B. PII-Maskierung), die konsequent auf der…
-
Patientendaten schützen ❌ Kritische Gesundheitsdaten in bspw. DICOM-Dateien automatisch finden und via Datenmaskierung schützen ❗
Umfassender Schutz von Patientendaten: PHI identifizieren oder zu anonymisieren! Mit Hunderttausenden von medizinischen Bildgebungsgeräten die im Einsatz sind, ist DICOM einer der am weitesten verbreiteten Nachrichtenstandards im Gesundheitswesen weltweit; Milliarden von DICOM-Bildern werden derzeit für die klinische Versorgung verwendet. Dieser Artikel beschreibt die Suche und De-Identifizierung von geschützten Gesundheitsinformationen (Protected Health Information, PHI) in DICOM-Metadaten und -Bildern mit Hilfe des Datenmaskierungstools IRI DarkShield und seiner Remote Procedure Call (RPC)-API für Dateien im Besonderen. DICOM (Digital Imaging and Communications in Medicine) ist ein Standard für die Kommunikation und Verwaltung medizinischer Bilddaten und zugehöriger Daten. DICOM ist in fast allen Geräten der Radiologie, der kardiologischen Bildgebung und der Strahlentherapie (Röntgen, CT, MRI,…
-
❌Proxy-basierte Datenmaskierung❌ Dynamische Datensicherheit bei Datentransaktion zwischen einer Anwendung und einer Datenbank ❗
Dynamische Datenmaskierung: Dieser Artikel beschreibt eine Methode zur dynamischen Datenmaskierung (DDM), die für IRI FieldShield verfügbar ist und ein Proxy-basiertes System zum Abfangen von Anwendungsabfragen an JDBC-verbundene Datenbanken verwendet. Es ist einer von mehreren Ansätzen zur Maskierung von Daten im Flug, die FieldShield-Benutzer in Betracht ziehen können. Andere IRI-DDM-Optionen umfassen: API-aufrufbare FieldShield-Funktionen, die in C/C++/C#-, Java- oder .NET-Programme eingebettet sind; Echtzeit-FieldShield-Funktionen, die in SQL-Prozeduren eingebettet sind, die maskierte Ansichten erstellen; und die dynamische Demaskierung von statisch maskierten Tabellen für autorisierte Benutzer. Das hier vorgestellte proxy-basierte System verwendet einen zweckmäßigen, datenbankspezifischen "JDBC SQL Trail"-Treiber in Verbindung mit einer Konfigurations- und Verwaltungs-Webanwendung namens SQL Sharp (SQL#). Alle technischen Details finden Sie hier…
