-
❌ Dateiüberwachung ❌ Dynamisches Echtzeit Datenmanagement für Flat-Files ist jetzt möglich ❗
Automatisierung von Aufträgen durch Datei-Überwachung: Die manuelle Auslösung von SortCL-kompatiblen Jobs in IRI Voracity ETL-, CoSort Reporting-, FieldShield Maskierung- oder NextForm-Migrationsszenarien ist in Umgebungen, in denen Daten in Quellen dynamisch hinzugefügt oder geändert werden, nicht realistisch oder produktiv. Im Gegensatz dazu macht die Automatisierung von Aufträgen in Echtzeit manuelle Aufrufe überflüssig und stellt sicher, dass die richtigen Aufträge rechtzeitig ausgeführt werden. In diesem Beitrag zeigen wir ein Proof of Concept (POC), das automatisch ein vorhandenes SortCL-kompatibles Jobskript auf der Grundlage des Dateinamens ausführt, wenn eine neue Datei erstellt wird oder Daten in einer vorhandenen Datei hinzugefügt oder geändert werden. Anmerkung: Dieser Artikel ist technischer Natur und erfordert ein grundlegendes Verständnis…
-
❌ Call Detail Record ❌ Tieferen Einblick in die CDRs erhalten und direkte Datenverarbeitung und Datenmaskierung von ASN.1 kodierten Dateien ❗
Direkte Unterstützung des ASN.1-Formats: Abstract Syntax Notation One (ASN.1) ist eine Sprache zur Beschreibung des Inhalts und der Kodierung von Nachrichtendaten, die zwischen Computern ausgetauscht werden (insbesondere in der Telekommunikationsindustrie). Dies ist der erste in einer Reihe von fünf Artikeln über das Dateiformat und das umfassende neue Data Engineering, das Sie mit ASN.1-Dateien unter Verwendung der IRI-Software durchführen können. Jede Datei wird durch eine ASN.1-Spezifikationsdatei (auch als Schema bezeichnet) beschrieben, die in der Regel die Erweiterung .asn hat. Diese für den Menschen lesbare Metadaten-Datei definiert jedes Feld in der Nachricht und wird automatisch in SortCL-kompatiblen Jobs in der IRI Voracity Datenmanagement-Plattform und ihren Komponentenprodukten (CoSort für Big Data Manipulation, NextForm…
-
❌ Datenverlust verhindern ❌ NoSQL-Datenbankcluster erfordert sowohl Endpunktsicherheit als auch Datenmaskierung ❗
Haben Sie Dark Data? Bis zu 90% der gesammelten oder generierten Unternehmens- und Regierungsdaten bleiben in unstrukturierten Text- und Bilddateien, Dokumenten und NoSQL-DBs oder anderen so genannten Dark Data Repositories verborgen. Um das rechtliche, finanzielle und Reputationsrisiko der Offenlegung von persönlich identifizierbaren Informationen (PII) in diesen oft obskuren Quellen zu mindern und um Datenschutzgesetze wie das GDPR einzuhalten, benötigen Sie eine Möglichkeit, die PII in diesen Quellen schnell zu lokalisieren und zu sichern. IRI DarkShield ist ein neues Produkt für die Erkennung, Bereitstellung, De-Identifizierung und Detaillierung von PII und anderen sensiblen Daten in unstrukturierten Dateien. Es stellt einen Durchbruch in den Bereichen unstrukturierte Datenmaskierungstechnologie, Geschwindigkeit, Benutzerfreundlichkeit und Erschwinglichkeit dar. IRI…
-
❌ PII in Dark Data ❌ Sensible Informationen auch in semi/un/strukturierten Quellen entdecken, bereitstellen und löschen ❗
. Dark Data: Versteckte PII überall finden und schützen! IRI DarkShield Version 4 verfügt über ein Remote Procedure Call (RPC) Application Programming Interface (API) für die Suche und Maskierung unstrukturierter Dateien. Die API ermöglicht die einfache Einbindung von DarkShield als Middleware in eine Pipeline außerhalb von IRI Workbench. Derzeit werden folgende Formate unterstützt: CSV/TSV Fixed Width HL7 X12 JSON MS Excel (.xls/.xlsx) MS Word (.doc/.docx) Parquet Klartext XML PDFs (mit eingebetteten Bildern) Bilder (png, .jpg/x/2, .tif/f, .gif, .bmp) DICOM Die API ist als Plugin auf der IRI Web Services Platform (Codename Plankton) aufgebaut, so dass der Benutzer selbst entscheiden kann, welche Dienste er benötigt, und dabei die gleichen Hosting-, Konfigurations-…
-
❌ Testdata für CICD ❌ Testdatenmanagement für sichere realistische Testdaten für Azure, GitLab + AWS DevOps-CodePipeline ❗
Was wird hier demonstriert? Dies ist die dritte Ergänzung zur DevOps-Pipeline-Serie, hier finden Sie die Links zu den DevOps-Artikeln zu GitLab und AWS CodePipeline. In diesem Artikel zeigen wir, wie man die IRI Voracity TDM-Plattformsoftware innerhalb einer Azure DevOps-Pipeline verwendet, um realistische Testdaten in verschiedenen Quellen für CI/CD-Zwecke zu erzeugen und zu verwenden. Konkret führen wir IRI RowGen-Skripte aus, um Testdaten in einer Excel-Tabelle zu synthetisieren, und die DarkShield-Files-API, um PII aus einer CosmosDB NoSQL-Datenbank zu maskieren. Wir bieten vier Methoden zur Erzeugung sicherer, intelligenter Testdaten in referenziell korrekten Datenbank-, Flat-File-, halbstrukturierten Datei-, formatierten Berichts- und sogar unstrukturierten Dateizielen: Maskierung von Produktionsdaten in IRI FieldShield, CellShield EE oder DarkShield RDBMS-Tabellen-Subsetting…
-
❌ Data Lake für Datenverarbeitung ❌ Unterschiedliche semi/un/strukturierte Rohdaten im Datenspeicher bündeln und in wenigen Schritten verarbeiten ❗
Big Data Verarbeitung: Laut der Open Knowledge Foundation ist die Datenpaketierung "eine einfache Möglichkeit, Sammlungen von Daten und deren Beschreibungen an einem Ort zu platzieren, so dass sie leicht ausgetauscht und verwendet werden können" und dass ein Datenpaket "in einem Format vorliegt, das sehr einfach, webfreundlich und erweiterbar ist". Für IRI und viele Menschen in der Welt der Datenverarbeitung und Datenwissenschaft ist die Datenverarbeitung eine Manifestation von Datenintegrations-, Staging- oder Wranglingoperationen, die über die Datentransformation und -filterung hinaus auch Aufgaben wie Konsolidierung, Bereinigung und Anonymisierung beinhalten können. IRI-Software verarbeitet seit Jahrzehnten große Datenmengen in brauchbare und sinnvoll formatierte Ergebnismengen, schnell, zuverlässig und kostengünstig. Berücksichtigen Sie die traditionelle Stärke von CoSort…
-
❌ Database Subsetting ❌ Automatisch erstellte Untermengen verwandter Tabellen für referenziell korrekte Testdaten für DB-Prototypen und DevOps ❗
Datenbank Subsetting: Sobald eine Datenbank eine bestimmte Größe überschreitet, wird es teuer – und aus der Sicherheitsperspektive riskant -, Kopien in voller Größe für Entwicklung, Tests und Schulungen bereitzustellen. Die meisten Teams benötigen kleinere Kopien der größeren Datenbank, und oft müssen die darin enthaltenen personenbezogenen Daten maskiert werden. Datenbank-Subsetting ist der Prozess der Erstellung einer kleineren, referenziell korrekten Kopie einer größeren Datenbank aus echten Tabellenauszügen. Teilmengen können zusammen mit oder anstelle der Maskierung von Daten oder der Synthese von Testdaten verwendet werden, um die mit vollständigen Mengen verbundenen Kosten und Risiken zu verringern. Die manuelle Erstellung aussagekräftiger Teilmengen ist komplex und mühsam, wenn man bedenkt, dass man kleinere Datenbanken mit…
-
❌ Schutz von PHI in EDI-Formaten ❌ Datenschutz via Datenmaskierung von sensiblen PHI in HL7- und X12-Formaten ❗
Auffinden und Maskieren von PHI in HL7- und X12-Dateien: Der Ruf von IRI in der Gesundheitsbranche hat sich seit der Veröffentlichung von IRI FieldShield im Jahr 2010 über seine traditionellen Wurzeln in der Verarbeitung von Leistungsansprüchen hinaus ausgeweitet. Mit FieldShield lassen sich geschützte Gesundheitsinformationen (Protected Health Information, PHI) in Flat-Files und relationalen Datenbanken gemäß den Sicherheitsvorschriften des HIPAA Safe Harbour und der Expert Determination Method finden und de-identifizieren. IRI hat das DarkShield-Produkt zur Datenmaskierung vor etwa 5 Jahren eingeführt, um diese Anforderungen in halb- und unstrukturierten Datenquellen, einschließlich XML-, Excel- und PDF-Dateien, sowie NoSQL-DBs wie Mongo und Bildformaten wie JPEG und DICOM zu erfüllen. Dieser Artikel befasst sich mit der…
-
❌ Testdaten in AWS CodePipeline ❌ Erzeugung von synthetischen Testdaten innerhalb der AWS CodePipeline automatisieren ❗
Maskierte Testdaten in einer AWS CodePipeline: In diesem Artikel wird gezeigt, wie die Ausführung von IRI DarkShield-Datenmaskierungsaufträgen aus SSH-Befehlen automatisiert werden kann, die innerhalb der AWS CodePipeline ausgeführt werden, um zweckmäßige Testdaten im DevOps-Prozess zu erzeugen. In unserer letzten Demonstration mit der GitLab-Pipeline haben wir strukturierte IRI FieldShield-Datenmaskierungs- und IRI RowGen-Datensynthese-Auftragsskripte ausgeführt, um Testdaten zu erzeugen und sie nach der Bereitstellung in API-Tests zu verwenden. In dieser Demonstration ruft die AWS CodePipeline die DarkShield-Files-API auf einem Remote-Server auf, um eine weitere Methode zur Erstellung von zweckmäßigen Testdaten in MongoDB zu zeigen. Natürlich ist die GitLab-Methode mit FieldShield und RowGen auch in AWS und Azure DevOps praktikabel. Zusammenfassung des Verfahrens: In…
-
❌ Datenaufbereitung für Datadog ❌ Externes Data Wrangling für Beschleunigung und Einspeisung mit Datensicherheit in Datadog ❗
Was ist Datadog? Datadog ist eine Web-Anwendung zur Überwachung von Datenfeeds, zur Analyse von Trends, zur Erstellung analytischer Dashboard-Anzeigen und zum Senden von Warnmeldungen. Dieser Artikel ist der erste in einer 4-teiligen Serie über die Fütterung der Datadog Cloud-Analyseplattform mit verschiedenen Arten von Daten aus IRI Voracity-Operationen. Er konzentriert sich auf den Wert von Datadog und Voracity zusammen. Die folgenden Artikel befassen sich mit der Aufbereitung von Daten in Voracity und ihrer Einspeisung in Datadog, der Verwendung von Voracity-verarbeiteten Daten in Datadog-Visualisierungen und der Verwendung von IRI DarkShield-Suchergebnissen in Datadog zur Verbesserung der Datensicherheit: Dieser Artikel beschreibt die Einspeisung verschiedener Daten aus IRI Voracity in die Datadog Cloud-Analyseplattform. Er konzentriert…
