-
❌ Test Data in PDF + Bilder ❌ Generierung oder Erstellung sicherer Testdaten für unstrukturierte Datenquellen ❗
Generierung von Testdaten in PDF- und Bilddateien: IRI DarkShield war schon immer in der Lage, persönlich identifizierbare Informationen (PII) und andere sensible Daten in unstrukturierten Quellen wie PDF-Dokumenten und Bilddateien zu durchsuchen und zu maskieren. Jetzt kann DarkShield auch mit IRI RowGen arbeiten, um Testdaten in diesen Formaten zu generieren und einzufügen – vor Ort oder in der Cloud. Diese Fähigkeit ermöglicht es Entwicklern und Testern von Anwendungen, die diese Datenquellen verarbeiten oder anderweitig verwalten, mit realistischen, aber sicheren/künstlichen Mustern in DevOps etc. zu arbeiten. Sie ermöglicht keine betrügerische Erstellung von Dokumenten oder Bildern aufgrund von wesentlichen Unterschieden im Hintergrund (Aussehen) und in der Art (Randomisierung) der Testwerte gemäß den…
-
❌ PII in Dark Data ❌ Auffinden von Namen/Substantiven in unstrukturierten Texten oder Dokumeten für gezielte Datenmaskierung❗
Verwendung von Tensorflow- und PyTorch-NER-Modellen: Die Erkennung von benannten Entitäten (Named Entity Recognition, NER) ist eine Art des maschinellen Lernens (ML), um benannte Entitäten im grammatikalischen Kontext von unstrukturiertem Text (Dokumenten) zu erkennen. NER wird benötigt, um Dinge wie Personennamen und Straßenadressen zu finden, da diese weder Mustern entsprechen, noch wahrscheinlich eine Übereinstimmung mit Werten in einer definierten Liste (Lookup Set) haben. Da es sich bei vielen Entitäten wie Personennamen oder Adressen um persönlich identifizierbare Informationen (PII) handelt, verwendet IRI DarkShield NER, um solche Daten zu finden und zu maskieren. Während die Kenntnis des Namens einer Person allein vielleicht kein allzu großes Risiko darstellt, erhöht sich in Kombination mit anderen…
-
❌ Legacy Datenmigration ❌ Dateiformate ändern wie z.B. ISAM zu JSON, Datentypen EBCDIC zu ASCII, Datenbanken DB2 zu MongoDB, Big-Endian zu Little ❗
Herausforderungen: Mainframe-Downsizing, Portierung von Daten zwischen Anwendungen, Aktualisierung oder Plattformwechsel? Müssen Sie die Änderungen an den Daten auffinden, klassifizieren, neu zuordnen und/oder verfolgen? Dies alles sind Schlüssel zur Erschließung des Wertes von Geschäftsanwendungsdaten in operativen Datenbanken, COBOL-Dateien und mehr. Die IRI Voracity-Plattform oder die IRI Datenmanagement-Suite und insbesondere deren Produkt-Komponent NextForm erfüllen eine Vielzahl von Datenmigrations- und Replikationsanforderungen schneller und kostengünstiger als herkömmliche Anbieter- und Speziallösungen. Entsperren Sie den Geschäftswert von Anwendungsdaten: NextForm befreit Ihre Daten, Programme und Datenbanken von Legacy-Formaten und Vendor Lock-Ins. Mehr Datenvielfalt bedeutet höhere Benutzerfreundlichkeit. Verwenden Sie Ihre Daten für einen neuen Zweck: NextForm modernisiert Dateiformate, damit diese in neuen Anwendungen verwendet werden können. Es repliziert…
-
❌ PII in Datenbank ❌ Sensible Datenbank-Daten kostengünstig und zuverlässig finden sowie schützen ❗
Preisgekrönte datenzentrierte Sicherheit: Renommierte Startpunkt-Sicherheits Softwareprodukte der IRI Datenschutz Suite oder der IRI Voracity Datenmanagement-Plattform werden personenbezogene Daten (PII) und andere "gefährdete Daten" in mehreren Quellen finden, klassifizieren und schützen. Jedes einzelne hilft Ihnen, die CCPA, CIPSEA, FERPA, HIPAA/HITECH, PCI DSS und SOC2 in den USA sowie internationale Datenschutzgesetze wie GDPR, KVKK, LOPD, PDPA, PIPEDA und POPI einzuhalten (und nachzuweisen). Die meisten Kunden von IRI Sicherheitsprodukten erstellen Profile und schützen PII in RDBs, Flat-Files und Excel Sheets vor Ort oder in der Cloud. Jüngste Engagements umfassen auch NoSQL-DBs, Dokumente, Bilder sowie EDI- und Protokolldateien. Streaming und Hadoop-Datenquellen sowie Gesichter werden ebenfalls unterstützt: Strukturierte Datenmaskierung: FieldShield klassifiziert, findet, de-identifiziert, bewertet das…
-
❌ Jenkins für DevOps ❌ Testdatenmanagement für Datenmaskierung, synthetische Testdaten oder für Datenbank-Subsetting in einer Jenkins-Pipeline ❗
Testen mit DB-Subsets in einer Jenkins CI/CD Pipeline: Dieser Jenkins-Beitrag ist der vierte in einer Reihe von Artikeln über die Verwendung der IRI-Software für das Testdatenmanagement – die Daten maskiert, synthetisiert oder subsummiert – um sichere, referenziell korrekte Testdaten für DevOps in CI/CD-Umgebungen zu liefern. In früheren Artikeln wurden Beispiele für die Erstellung von Testdaten mit IRI-Software und die Verwendung dieser Daten in GitLab, AWS CodePipeline und Azure DevOps gezeigt. In diesem Artikel erklären wir, wie man Jenkins in einer Google Cloud Platform (GCP) Virtual Machine (VM) hostet und einen IRI-Datenbank-Subsetting-Auftrag ausführt, um diese Daten in eine Jenkins-Pipeline einzuspeisen. Subsetting erzeugt eine kleinere, aber referenziell korrekte Kopie eines größeren Datenbankschemas.…
-
❌ Pseudonymisierung & Verschlüsselung ❌ Sensible Daten in halbstrukturierten oder unstrukturierten Datenquellen maskieren UND wiederherstellen ❗
Maskierte Werte wiederherstellen: Die Datenmaskierungssoftware IRI DarkShield konzentriert sich auf das Auffinden und Maskieren sensibler Daten in einer Vielzahl von Quellen, einschließlich unstrukturierter und halbstrukturierter Dateien, Dokumente und Datenbanken. In einigen Fällen kann es jedoch notwendig sein, maskierte Werte wieder auf ihre ursprünglichen Werte zurückzusetzen. Glücklicherweise ist es in DarkShield (für Dark Data) möglich, einen Maskierungsprozess rückgängig zu machen, genauso wie in IRI FieldShield (für strukturierte und semistrukturierte Quellen) und IRI CellShield (gezielt in Excel-Dateien), allerdings nur mit bestimmten Verschlüsselungsalgorithmen und Suchmethoden. In DarkShield setzt die Umkehrbarkeit voraus, dass Sie die maskierten Daten finden können, indem Sie entweder den Inhalt oder die Position (Struktur) innerhalb eines bestimmten Dateiformats wiederfinden. In…
-
❌ Legacy Sort ❌ Seit 1980 schnellere und flexiblere Alternative für Mainframe Sortierparameter für z/OS (MVS) und z/VSE (VSE)❗
Herausforderungen: Viele Betriebssysteme und Programmiersprachen enthalten Sortierfunktionen. Verlassen Sie sich auf den Sort, der mit Ihrer Plattform oder Anwendung geliefert wird? Wenn ja, sind Sie mit seiner Leistung und Flexibilität zufrieden? Haben Sie sich gefragt, ob ein mächtigerer Sort in Ihrer aktuellen Umgebung einfach integriert werden kann via "Plug and Play"? Oder vielleicht verlassen Sie sich auf Mainframe-JCL-Schritte, die ICEMAN- oder ICETOOL-Berichtsoperationen kopieren, sortieren, zusammenführen, auswählen, summieren oder aufführen, die unter Unix, Linux oder Windows funktionieren müssen. Sortierparameter für (z/OS) MVS und VSE sind kryptisch und funktional begrenzt. Sie sind auch nicht kompatibel mit offenen Systemen und nicht erweiterbar. In beiden Fällen besteht die Herausforderung darin, den nächstgelegenen Ersatz oder die…
-
❌ Snowflake Datenbank ❌ Datenintegration, mit Datenbereinigung plus Datenmaskierung mit direkter Bereitstellung in Zieltabellen für Datenanalyse ❗
Snowflake ETL und PII-Maskierung: Schnelles, kostengünstiges Datenmapping & Verwaltung! Die ösung für zeitaufwendige Probleme bei der Arbeit mit Snowflake: Datensuche, -profilierung und/oder -klassifizierung Integration oder Daten-Wrangling für DW/BI-Ops Datenbewegung/Migration zu/von Tabellen Transformieren oder Laden großer Tabellen Datenerfassung oder -replikation ändern Clustering oder Abfrage der Performance Generierung intelligenter und sicherer Testdaten Maskierung sensibler Daten Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden und erfordern eine Optimierung und dauern dann immer noch zu lange! Snowflake-Daten in Ordnung halten & SQL-Transformationen externalisieren mit IRI CoSort zur Vorsortierung von Flat Files für Bulk Loads und Inserts und zur Umgehung langsamer datenbankinterner…
-
❌ Oracle Datenbank ❌ Automatische Datenmaskierung, während Daten in Echtzeit erzeugt werden ❗
Echtzeit-Datenmaskierung mit der Verwendung von Triggern: In früheren Artikeln wurde die statische Datenmaskierung neuer Datenbankdaten mit Hilfe der /INCLUDE-Logik oder der /QUERY-Syntax in geplanten IRI FieldShield-Job-Skripten beschrieben, die Änderungen der Spaltenwerte erforderten, um Aktualisierungen zu erkennen. Dieser Artikel beschreibt einen passiveren, aber integrierten Weg zum Auslösen von FieldShield-Maskierungsfunktionen auf der Basis von SQL-Ereignissen, d.h. zum Maskieren von Daten, wie sie in Echtzeit erzeugt werden. Er kann auch als "Prozedurenmodell" für andere Datenbanken und Betriebssysteme dienen. Dieser Artikel geht zunächst auf die Installation von FieldShield ein und nennt auch die dazu benötigten Anforderungen. Danach folgt ein anschaulicher Anwendungsfall mit PL/SQL-Triggern für die ASCII-Format bewahrende Verschlüsselung und die dazu gehörende entschlüsselte…
-
❌ Google Cloud BigQuery ❌ Back-End Datenverarbeitung ermöglicht die Datenmanipulation der strukturierten Daten ❗
Verbindung von Google BigQuery für Funktionserweiterung: BigQuery ist ein verwaltetes, serverloses Data Warehouse in der Google Cloud, das skalierbare Analysen über Petabytes von Daten ermöglicht. Es handelt sich um eine relationale Datenbank als Platform as a Service (PaaS), die ANSI-SQL-Abfragen unterstützt. Als solche arbeitet sie mit der umfangreichen IRI-Software. Die Verbindung der Google BigQuery RDB mit IRI Workbench und dem Back-End-Verarbeitungsprogramm SortCL ist einfach und ermöglicht die Bewegung und Manipulation der strukturierten Daten durch kompatible IRI-Produkte. Das bedeutet IRI CoSort für schnellste Big Data Transformation, FieldShield für Datenmaskierung, NextForm für Datenmigration und RowGen für synthetische Testdatengenierung oder die End-to-End Datenmanagementplatfform IRI Voracity, die alle diese einzelnen Produkte umfasst. Die Konnektivität…
