-
❌ DBTA Big Data ❌ Unsere Software ist erneut in der DBTA Big Data 50 Liste der „Companies Driving Innovation“ vertreten ❗
Was unsere 43 Jahre im Bereich Big Data für Sie bedeuten: Seit 1978 hat sich Innovative Routines International (IRI Inc.) auf die Verarbeitung und das Management von "Big Data" spezialisiert. Lange bevor der Begriff unter Hadoop fiel, haben unsere Kunden ihn verwendet, um ihre sehr großen Datei- und Datenbankquellen zu beschreiben, die in CoSort umgewandelt und ausgewertet wurden … und tun es immer noch! Obwohl die heutigen CoSort-gestützten Aktivitäten weitaus umfangreicher sind, laufen sie immer noch bekannt schnell im Volumen. Sie werden in Eclipse ausgeführt und sind jetzt in einer erschwinglichen All-in-One-Datenmanagement-Plattform namens Voracity für Multi-Source verfügbar: Data Discovery – Klassifizierung, Diagrammerstellung, Profiling und Suche von strukturierten, halbstrukturierten und unstrukturierten…
-
❌ ASN.1-Dateien ❌ Direkte Datenintegration und Datenmigration mit Datenbereinigung und Datenmaskierung, für Datenverarbeitung und Report ❗
Einführung in das ASN.1-Format und direkte Unterstützung! Abstract Syntax Notation One (ASN.1) ist eine Sprache zur Beschreibung des Inhalts und der Kodierung von Nachrichtendaten, die zwischen Computern ausgetauscht werden (insbesondere in der Telekommunikationsindustrie). Dies ist der erste in einer Reihe von fünf Artikeln über das Dateiformat und das umfassende neue Data Engineering, das Sie mit ASN.1-Dateien unter Verwendung der IRI-Software durchführen können. Jede Datei wird durch eine ASN.1-Spezifikationsdatei (auch als Schema bezeichnet) beschrieben, die in der Regel die Erweiterung .asn hat. Diese für den Menschen lesbare Metadaten-Datei definiert jedes Feld in der Nachricht und wird automatisch in SortCL-kompatiblen Jobs in der IRI Voracity Datenmanagement-Plattform und ihren Komponentenprodukten (CoSort für Big…
-
❌ Database Subsetting ❌ Metadaten-kompatibles Subsetting mit Datenmaskierung und synthetischen Testdaten ❗
Datenbank-Subsetting: Test mit kleineren, maskierten Schemas! Die Unterteilung und Maskierung einer Datenbank in der IRI Voracity-Plattform ist ein guter Weg, um Testdaten für die Verwendung in einem beliebigen Schema oder einer Reihe von Flat-Files zu erzeugen, die später für Berichte oder zum Laden verwendet werden können. Herausforderungen: Entwickler von Datenbankanwendungen verlassen sich zum Testen oft auf Daten in Produktionstabellen. Aber es gibt mehrere Nachteile dieses Ansatzes, einschließlich der: Vertraulichkeit der Daten in diesen Tabellen Kosten für die Migration, Maskierung, Aktualisierung und/oder Speicherung replizierter Datenbanken zum Testen Redundanz der Produktionsdaten, was zu Platzverschwendung und unzureichender Testabdeckung führt nur kleine Datenmengen für spezifische Testfälle benötigt werden Lösungen: Zusätzlich zu den leistungsstarken Funktionen zum…
-
❌ MariaDB und MySQL ❌ Schnellere Datenbankabfrage- und Ladeleistung, sowie sensible PII schützen ❗
MySQL und MariaDB: schnellere und sichere Datenbank! Sie können mit einem oder mehreren dieser zeitaufwendigen Probleme bei der Arbeit mit MySQL konfrontiert werden: Datenermittlung: Profilerstellung, Klassifizierung, ERDs Be- und Entladen großer Tabellen Routinemäßige Versorgungsoperationen (Reorgs) Komplexe Abfragen Migration oder Replikation Maskierung sensibler Daten Generierung intelligenter und sicherer Testdaten Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, erfordern eine Optimierung und dauern dann immer noch zu lange.Beschleunigen Sie die Entladung: IRI FACT (Fast Extract) zur Beschleunigung der MySQL-Entladung. Verwenden Sie die SQL-Syntax in FACT’s CLI oder GUI, um Tabellendaten in Flat-Files zu übertragen . Geben Sie SELECT *…
-
❌ Data Masking von Apache Parquet ❌ Personenbezogene PII oder andere sensible Daten in Parquet-Dateien finden und sicher maskieren ❗
Parquet-Dateiformat: Sensible Informationen suchen und schützen! Apache Parquet ist ein spaltenförmiges, komprimiertes Dateiformat, das auf Leistung optimiert ist. Parquet-Dateien sind häufig bei Cloud-Speicheranbietern zu finden, da die Optimierungen des Dateiformats die Kosten in Cloud-Umgebungen im Vergleich zu CSV-Dateien senken. Parquet ist ein komplexes Binärformat, das zwar für schnelle analytische Abfragen und geringen Speicherplatzbedarf ausgelegt ist, aber nicht leicht lesbar ist, was den Schutz sensibler Daten erschweren kann. Die DarkShield Files API bietet jedoch die Möglichkeit, Parquet-Dateien nach sensiblen Daten zu durchsuchen und zu maskieren. Das Parquet-Dateiformat lässt viele Datentypen und verschachtelte Datenstrukturen zu; die DarkShield Files API ist in der Lage, gängige primitive Typen wie Strings, Integer, Bytes usw. sowie…
-
❌ Datenintegration und Datenmanagement ❌ DBTA listet wichtigste Funktionen für Data Management und sicherer Datenmaskierung für moderne Unternehmen ❗
Datenintegration und Datamanagement für moderne Unternehmen: Erkenntnisse und Ratschläge! In der DBTA-Ausgabe 2018 zum Thema Datenintegration und -governance haben wir einen MDM-bezogenen Anwendungsfall in Malaysia (das MyGDX-Portal) vorgestellt, bei dem die Datentransformations- und Datenqualitätsfunktionen des CoSort "SortCL"-Programms genutzt werden, das die Datenmanagement-Plattform von IRI Voracity betreibt. Was wir heute häufiger sehen, ist die Kombination dieser Aktivitäten mit Datenmaskierung. Dies spiegelt die Anforderungen an die Sicherheit von personenbezogenen Daten, die Einhaltung von Datenschutzgesetzen und die Verwaltung von Testdaten in Big Data"-Warehousing- und BI/Analysekontexten wider. Voracity ist das übergreifende Softwareprodukt von IRI, das den Höhepunkt von mehr als 40 Jahren Erfahrung in der Datenmanipulation und -bewegung darstellt, beginnend mit CoSort. Die Entwicklung…
-
❌ XLS & XLSX ❌ Microsoft Excel Datenintegration, mit Datenmaskierung, Neuzuordnung und Datenbereinigung, für Reporting oder Testdaten erstellen ❗
Verarbeitung von Tabellenkalkulationsdaten: Zusätzlich zu allen anderen strukturierten Datenquellen, die die IRI-Software bereits unterstützt, ist es jetzt möglich, Daten aus XLS- und XLSX-Dateien im SortCL-Programm zu lesen und zu verarbeiten! IRI CoSort, für schnelles Sortieren, Umwandeln und Berichten IRI NextForm, für Mapping, Migration und Replikation IRI RowGen, für die zufällige Auswahl oder Generierung von realistischen Testdaten IRI FieldShield, für die Maskierung sensibler Daten IRI Voracity, für alle oben genannten Funktionen sowie für ETL, Datenbereinigung und -aufbereitung für Analysezwecke und zum Zurückschreiben der resultierenden Daten in diese oder andere Ziele, einschließlich eines oder mehrerer Blätter. Dieser Artikel gibt einen Überblick über die Operationen und die Syntax des SortCL-Programms, das mit IRI…
-
❌ DB-Cloning mit Datenmaskierung ❌ Oracle Datenbank via Commvault klonen + direkt mit Plug-In sensible Daten maskieren ❗
Sicheres Database-Cloning mit umfangreicher Datenmaskierung! Das Sicherheitsprodukt IRI FieldShield maskiert sensible Daten in der geklonten Datenbank, bevor dann die Daten für die Entwicklung und Qualitätssicherung zur Verfügung stehen! Nachdem Sie eine Oracle-Datenbank geklont haben, können Sie die Commvault-Software mit unserer Datenmaskierung via Plug-In ausführen lassen. Die Commvault-Software ist bei unserem IRI FieldShield integriert. Die Anleitung finden Sie direkt bei Commvault V11 Service Pack 17 unter: "Configuring Third-Party Data Masking for Oracle Database Clones" Was ist FieldShield? IRI FieldShield® ist eine leistungsstarke und kostengünstige Software zur Datenerkennung und –maskierung von PII in strukturierten und semistrukturierten Quellen, groß und klein. Die FieldShield-Dienstprogramme in Eclipse dienen zur Profilierung und De-Identifizierung von Daten im…
-
❌ Data Preparation ❌ Datenaufbereitung für Business Intelligence, wie Data Franchising, Data Blending, Data Wrangling, oder Data Munging ❗
Was ist Data Franchising? Data Franchising ist ein 2003 von Richard Sherman von Athena Solutions geprägter Begriff, der sich auf die Aufbereitung oder Verpackung großer Datensätze in saubere, nutzbare Teile für die Entscheidungsfindung bezieht, insbesondere durch Business Intelligence (BI) und Analysesoftware. Zu den neueren Begriffen für die Aufbereitung von Daten für diese Zwecke gehören Data Blending, Data Munging und Data Wrangling. Um die Benutzerfreundlichkeit und Leistung von BI- und Analysetools zu verbessern, bereitet das IRI-Datenmanipulationsprogramm (SortCL) – das die Standard-Engine im IRI CoSort-Produkt und in der IRI Voracity-Plattform ist – CSV- und XML-"Feed"-Dateien oder ODBC-Tabellen schnell auf. Der Hauptvorteil dieser externen Datenaufbereitung liegt in der Effizienz; der Aufwand für die…
-
❌ Test Data für DevOps ❌ Erstellung von synthetischen, sicheren und intelligenten Testdaten in einer CI/CD-Pipeline für DevOps❗
Erstellung von Testdaten in einer CI/CD-Pipeline: Die Grundlage der DevOps-Automatisierung besteht darin, zu automatisieren, wo und wann man kann. Die Möglichkeit, IRI-Jobskriptausführungen, die Testdaten maskieren oder synthetisieren, in der CI/CD-Pipeline zu verarbeiten, unterstützt dieses Bestreben. Dieser Artikel veranschaulicht ein End-to-End-Beispiel für eine erfolgreiche Integration! In diesem Artikel wurde gezeigt, wie die Ausführung von IRI-Aufträgen zur Erzeugung von Testdaten innerhalb einer GitLab CI/CD-Pipeline automatisiert werden kann. Mit SSH können alle IRI-Auftragsskripte, die über die Befehlszeile ausgeführt werden können, von der Pipeline aus ausgeführt werden. IRI RowGen-Aufträge synthetisieren Testdaten, während echte Daten von unsicheren Umgebungen ferngehalten werden. Alternativ dazu finden und maskieren IRI FieldShield-Auftragsskripte sensible Daten auf Feldebene, so dass viele echte…
