-
❌ TDM Tool ❌ Vielschichtiges Testdatenmanagement-Framework für DevOps, MLOps und DataOps bereitstellen❗
Sicheres Testdatenmanagement: Daten, die durch Anwendungsentwicklung, maschinelles Lernen und Analysepipelines fließen, müssen mehrere Anforderungen erfüllen, die allen Bereichen gemeinsam sind, darunter: Realitätsnähe, um die Eigenschaften der Produktionsdaten und die Anforderungen der Anwendungstests widerzuspiegeln Konformität mit Geschäfts- und Datenschutzregeln sowie DB- und Analysemodellen Verfügbarkeit oder Sicherheit der Daten (je nach Sichtweise) Nachvollziehbarkeit für die Abstammung und Verantwortlichkeit Die an diesen Pipelines beteiligten Akteure verstehen diese Anforderungen aus ihrer eigenen Perspektive. IRI, auch bekannt als "The CoSort Company", bietet ein vielschichtiges Testdatenmanagement-Framework, um diese Anforderungen zu erfüllen. Die Rolle von IRI in diesem weiten Bereich begann mit der Notwendigkeit, umfangreiche, realistische Daten zu erstellen, um das Volumen und die Vielfalt der Datenumwandlungs-…
-
❌ Datenschutz im Bild ❌ Bildvorverarbeitung um sensible Daten in Bildern zu finden und per Datenmaskierung direkt GDPR-konform zu schützen❗
Vorverarbeitung von Bildern zur Verbesserung der OCR-Ergebnisse: OCR-Software (Optical Character Recognition) ist eine Technologie zur Erkennung von Text in einem digitalen Bild. OCR wird von der IRI DarkShield-Software verwendet, um Text in eigenständigen oder eingebetteten Bildern während der PII-Suche und -Maskierungsvorgänge zu erkennen. OCR hat jedoch ihre Grenzen: Um genaue Ergebnisse zu erzielen, muss das Bild vertikal ausgerichtet sein, die richtige Größe haben und so klar wie möglich sein. Nicht jedes Bild erfüllt diese Anforderungen! Wir müssen daher Methoden finden und anwenden, um diese Bilder durch Vorverarbeitung an unsere Bedürfnisse anzupassen. In diesem Artikel werden einige Vorverarbeitungsmethoden vorgestellt und erläutert, wie sie die Qualität der OCR-Ausgabe im Zusammenhang mit der…
-
❌ Backup mit Commvault ❌ Oracle Datenbank mit Datensicherheit von sensiblen Daten per bspw. Datenmaskierung ❗
Sichere Datenverarbeitung von geklonter Datenbank: Das Sicherheitsprodukt IRI FieldShield maskiert sensible Daten in der geklonten Datenbank, bevor die Daten für die Entwicklung und Qualitätssicherung zur Verfügung stehen! Nachdem Sie eine Oracle-Datenbank geklont haben, können Sie die Commvault-Software mit unserer Datenmaskierung via Plug-In ausführen lassen. Die Commvault-Software ist bei unserem IRI FieldShield integriert. Die Anleitung finden Sie direkt bei Commvault V11 Service Pack 17 unter: "Configuring Third-Party Data Masking for Oracle Database Clones" Was ist FieldShield? IRI FieldShield® ist eine leistungsstarke und kostengünstige Software zur Datenerkennung und –maskierung von PII in strukturierten und semistrukturierten Quellen, groß und klein. Die FieldShield-Dienstprogramme in Eclipse dienen zur Profilierung und De-Identifizierung von Daten im Ruhezustand…
-
❌ UniKix TPE und BPE ❌ Transaktionsverarbeitung und Batch-Sortierung von VSAM- und sequentiellen Daten ❗
Mainframe CICS Sort Rehosting: JCL Sorts in UniKix BPE und TPE migrieren! Herausforderungen: Wenn Sie vom Mainframe zu "offenen Systemen" wechseln, arbeiten Sie möglicherweise mit dem Mainframe Rehosting Solutions Team von NTT DATA (früher Dell, Clerity, Sun, Blue Phoenix und UniKix) zusammen. Eine der Komponenten Ihrer Migration wird das Sortierpaket sein. Sie benötigen eine Lösung für die Konvertierung von JCL-Sortierschritten, die Verarbeitung von VSAM-Dateien, die damit verbundene Datentransformation und Berichtsdienste unter Unix oder Windows. Möglicherweise suchen Sie auch nach einer Möglichkeit, eine Vielzahl anderer Datenmanagement- und Schutzvorgänge gleichzeitig zu modernisieren und möchten lieber mit einem einzigen, bewährten und erschwinglichen Anbieter zusammenarbeiten und gleichzeitig die Lernkurve und die Komplexität der…
-
❌ Data Lake ❌ Bündelung von semi/un/strukturierten Rohdaten und schnelle Datenverarbeitung in wenigen Schritten ❗
Data Lake: Ein Data Lake ist ein einziger Speicher für Unternehmensdaten, der sowohl Rohdaten (die eine exakte Kopie der Quelldaten darstellen) als auch umgewandelte Daten enthält, die für Berichte und Analysen verwendet werden. Einige wollen, dass das Data Lake das traditionelle Data Warehouse ersetzt, während andere ihn eher als Staging-Bereich für die Einspeisung von Daten in bestehende Data Warehouse-Architekturen sehen. Den See säubern: Ein Hauptproblem bei Datenseen ist, wie bei echten Seen, dass die Menschen nicht wissen, was sich in ihnen befindet oder wie sauber sie sind. In der Natur können unbekannte Dinge im Wasser das Ökosystem zerstören. Unbekannte Daten in einem Datensee können das Projekt zerstören. Auch dazu rät…
-
❌ TIBCO Spotfire ❌ 4x schnellere Datenvisualisierung und Datenanalyse für Datenintegration in BI-Tool TIBCO Spotfire ❗
Vorbereitung von Big Data für TIBCO Spotfire: TIBCO Spotfire® ist ein Datenvisualisierungstool für einfach zu erstellende Dashboards. Spotfire verfügt über eine speicherinterne Datenverarbeitung und eine ausgefeilte prädiktive Analyse. Wie die meisten Business Intelligence-Tools ist es jedoch nicht für die Integration großer Datenmengen und die Verarbeitung vor der Visualisierung konzipiert. Das SortCL-Programm im IRI CoSort Produkt oder in der IRI Voracity Plattform ist eine schnelle, einfache und kostengünstige Möglichkeit, große Datenmengen für Spotfire effizient aufzubereiten – sowohl in Bezug auf das Jobdesign als auch auf die Laufzeitperformance. In diesem Abschnitt erfahren Sie, warum. Wenn SortCL Rohdatensätze in einem einzigen Job und I/O-Pass vor Spotfire sortiert, zusammenführt und aggregiert, ist eine solche…
-
❌ Testdatenmanagement ❌ Sichere, realistische und referenziell korrekte Testdaten für DevOps und CI/CD erstellen❗
Intelligente Testdaten erstellen und verwalten für: Test-Datenbanken mit referentieller Integrität Simulation und Freigabe von Datei- und Berichtslayouts Entwicklung und Stresstest von Anwendungen Benchmarking neuer Hard- und Software Durchführung von Data Warehouse ETL-Tests Tabellenansichten, Indexreihenfolgen, Schlüsselbeziehungen sowie Datei- und Berichtsinhalte müssen die Realität widerspiegeln, um beim Testen nützlich zu sein. Das Erzeugen realistischer Werte und Formate mit sicheren Daten in idealen Bereichen – und das Befüllen großer Ziele – kann mit anderen Tools oder Programmen sehr lange dauern. Mit dem IRI RowGen-Produkt oder der IRI Voracity-Plattform können Sie mehrere Testdatenziele für Testdatenbanklasten, Flat-File-Strukturen und benutzerdefinierte Berichtsformate von Grund auf neu generieren – alles ohne Zugriff auf echte Daten. Oder wenn Sie…
-
❌ Google BigQuery ❌ Back-End Datenverarbeitung für die Datentransformation im serverlosem Data Warehouse in der Google Cloud ❗
BigQuery ist ein verwaltetes, serverloses Data Warehouse in der Google Cloud, das skalierbare Analysen über Petabytes von Daten ermöglicht. Es handelt sich um eine relationale Datenbank als Platform as a Service (PaaS), die ANSI-SQL-Abfragen unterstützt. Als solche arbeitet sie mit der umfangreichen IRI-Software. Die Verbindung der Google BigQuery RDB mit IRI Workbench und dem Back-End-Verarbeitungsprogramm SortCL ist einfach und ermöglicht die Bewegung und Manipulation der strukturierten Daten durch kompatible IRI-Produkte. Das bedeutet IRI CoSort für schnellste Datentransformation, IRI FieldShield für Datenmaskierung, IRI NextForm für Datenmigration und IRI RowGen für synthetische Testdatengenierung oder die End-to-End Datenmanagementplatfform IRI Voracity, die alle diese einzelnen Produkte umfasst und weitere Funktionen bietet! Die Konnektivität folgt…
-
❌ Oracle Linux ❌ Beschleunigung von ETL-Aufträgen mit End-to-End Datensicherheit via Datenmaskierung und synthetischen Testdaten❗
Die stärkste Plattform für End-to-End Datenmanagement: Das Team der Oracle Linux und „Virtualization Alliance“ heißt die Datenverwaltungsplattform Voracity im ISV-Ökosystem willkommen. IRI Inc. hat Voracity auf Oracle Linux zertifiziert und unterstützt diese Plattform. Damit steht Oracle-DBAs, Datenarchitekten und Datenschutzteams schnellste Leistungs- und umfassende Sicherheitsfunktionen zur Verfügung. IRI Voracity kombiniert Datenermittlung, Integration, Migration, Verwaltung und Analyse in einem verwalteten Metadaten-Framework, das auf Eclipse aufbaut. Die Voracity-Plattform läuft in der Oracle Cloud-Infrastruktur und ermöglicht moderne PaaS- und SaaS-Optionen für KMU- und Unternehmenskunden, die eine schnellere, kostengünstigere und hochsichere Cloud-Ausführung von ETL-Aufträgen sowie Datenmaskierung und -synthese, Datenqualität und -migration und Datenmanipulation für Analysezwecke anstreben. In der Oracle Cloud-Infrastruktur oder on premise können Kunden…
-
❌ XLS und XLSX ❌ Microsoft Excel Datenintegration, mit Datenbereinigung und Datenmaskierung für BI-Report oder TDM ❗
Zusätzlich zu allen anderen strukturierten Datenquellen ist es jetzt möglich, Daten aus XLS- und XLSX-Dateien im SortCL-Programm zu lesen und zu verarbeiten! IRI CoSort, für schnelles Sortieren, Umwandeln und Berichten IRI NextForm, für Mapping, Migration und Replikation IRI RowGen, für die zufällige Auswahl oder Generierung von realistischen Testdaten IRI FieldShield, für die Maskierung sensibler Daten IRI Voracity, für alle oben genannten Funktionen sowie für ETL, Datenbereinigung und -aufbereitung für Analysezwecke und zum Zurückschreiben der resultierenden Daten in diese oder andere Ziele, einschließlich eines oder mehrerer Blätter. Dieser Artikel gibt einen Überblick über die Operationen und die Syntax des SortCL-Programms, das mit IRI CoSort Version 10.5 eingeführt wurde, um Excel-Daten in…
