-
❌ Testdata für Gesundheitswesen ❌ Effiziente, sichere und synthetische Testdaten von realistischen EDI-Nachrichten ❗
Synthetisierung realistischer HL7- und X12-Testdaten: In diesem Artikel wird erörtert, wie HL7- und X12-Nachrichten strukturiert sind und es wird demonstriert, wie das IRI RowGen-Softwarepaket zur Generierung von Testdaten verwendet werden kann, um realistische Nachrichten in diesen (hauptsächlich auf das Gesundheitswesen bezogenen) EDI-Dateiformaten zu erzeugen. DBAs, Entwickler und QA-Teams stehen immer wieder vor der Herausforderung, Testdaten zu beschaffen, die mit den Geschäftsregeln und Datenschutzbestimmungen übereinstimmen. Die Verwendung von Produktionsdaten zum Testen der Funktionalität oder Kapazität einer Anwendung mag für Tester Realität sein, aber was passiert, wenn diese Daten personenbezogene Daten enthalten? Und welches Sicherheitsniveau ist mit der Testumgebung verbunden? Eine gängige Methode zur Bewältigung dieser Herausforderung ist die Verwendung von verschleierten…
-
❌ Datenmodernisierung ❌ Umfangreiche, sichere und schnelle Datenmigration von Legacy-Dateien und Datenbanken ❗
Datenmigration und -modernisierung: Mit dem Aufkommen der Cloud sind Datenmigrationen – und insbesondere Cloud-Migrationen – für viele Unternehmen immer wichtiger geworden (und werden es immer noch). Die Vorteile der Cloud sind hinlänglich bekannt, so dass sie hier nicht näher erläutert werden. Es genügt zu sagen, dass viele Unternehmen darin ein großes Potenzial sehen, insbesondere im Hinblick auf die Hybrid- und/oder Multi-Cloud-Konfigurationen, die sich als besonders beliebt erweisen. Aber eigentlich ist dies nur die jüngste Inkarnation eines viel älteren Trends: der Wunsch der Unternehmen, ihre IT-Infrastruktur zu modernisieren. Damit soll nicht die Relevanz oder Nützlichkeit der Cloud geschmälert werden, sondern die Datenmodernisierung soll in einen angemessenen Kontext gestellt werden, eben in…
-
❌ CDR- und UDR-Daten ❌ Direkte Datenverarbeitung und Datenmaskierung von nativen ASN.1 CDRs – ohne vorherige Vermittlung ❗
Direkte Unterstützung des ASN.1-Formats: Abstract Syntax Notation One (ASN.1) ist eine Sprache zur Beschreibung des Inhalts und der Kodierung von Nachrichtendaten, die zwischen Computern ausgetauscht werden (insbesondere in der Telekommunikationsindustrie). Dies ist der erste in einer Reihe von fünf Artikeln über das Dateiformat und das umfassende neue Data Engineering, das Sie mit ASN.1-Dateien unter Verwendung der IRI-Software durchführen können. Jede Datei wird durch eine ASN.1-Spezifikationsdatei (auch als Schema bezeichnet) beschrieben, die in der Regel die Erweiterung .asn hat. Diese für den Menschen lesbare Metadaten-Datei definiert jedes Feld in der Nachricht und wird automatisch in SortCL-kompatiblen Jobs in der IRI Voracity Datenmanagement-Plattform und ihren Komponentenprodukten (CoSort für Big Data Manipulation, NextForm…
-
❌ Commvault ❌ Oracle Datenbank via Commvault klonen und mit Datenmaskierung sofort schützen ❗
Sicheres Database-Cloning: Das Sicherheitsprodukt IRI FieldShield maskiert sensible Daten in der geklonten Datenbank, bevor dann die Daten für die Entwicklung und Qualitätssicherung zur Verfügung stehen! Nachdem Sie eine Oracle-Datenbank geklont haben, können Sie die Commvault-Software mit unserer Datenmaskierung via Plug-In ausführen lassen. Die Commvault-Software ist bei unserem IRI FieldShield integriert. Die Anleitung finden Sie direkt bei Commvault V11 Service Pack 17 unter: "Configuring Third-Party Data Masking for Oracle Database Clones" Was ist FieldShield? IRI FieldShield® ist eine leistungsstarke und kostengünstige Software zur Datenerkennung und –maskierung von PII in strukturierten und semistrukturierten Quellen, groß und klein. Die FieldShield-Dienstprogramme in Eclipse dienen zur Profilierung und De-Identifizierung von Daten im Ruhezustand (statische Datenmaskierung)…
-
❌ Push von Splunk ❌ Datenverarbeitung vor der Indizierung in Splunk für höhere Leistung mit Datenmaskierung für End-to-End Datenschutz ❗
Splunk-App für Data Wrangling & Datenmaskierung: Die beste Möglichkeit für die Datenerkennung, -integration, -migration, -verwaltung und -analyse von Splunk Enterprise oder Splunk Enterprise Security! Der Vorteil ist ein nahtloser, gleichzeitiger operativer Daten-zu-Informationsfluss von der schnellen Vorbereitung und dem Schutz großer und kleiner Datenquellen durch Voracity bis hin zu den leistungsstarken Visualisierungen und dem adaptiven Response-Framework von Splunk. In einem einzigen Durchgang durch mehrere Eingaben können Voracity-Jobs Daten für Analysen transformieren, filtern, bereinigen, neu formatieren und in ein Stadium (Wrangling) bringen und die darin enthaltenen PII für Compliance- und Datenverletzungen zu de-identifizieren! Die Anwendung nimmt Daten, die von IRI-Jobs erzeugt werden die in den 4GL (*.cl)-Job-Skripten von "SortCL"-kompatiblen Produkten in Voracity…
-
❌ Push von Adabas und Natural ❌ 6x schnellere Datentransformation via Plug’n’Play Sort für nahtlose Prozessbeschleunigung ❗
NATURAL Sort-Ersatz: Der Schnellerer Weg, um große Datensätze direkt zu sortieren! IRI CoSort enthält eine Plug’n’Play-Sortierbibliothek für Benutzer von Natural unter Unix. Ohne Benutzereingriff und einen einfachen Makefile-Link kann die CoSort Engine in Natural bis zu sechsmal schneller sortieren als die native Sortierung. Eine vollständige Anleitung zur Verwendung von CoSort und einer externen Sortierung finden Sie in der Installationsdokumentation der Software AG Natural unter "Re-Linking a Natural Nucleus". CoSort erschwingliche, bequeme und schnellere Möglichkeit zur Verarbeitung und Berichterstattung großer Dateien, während Sie große Arbeitsdateien von und nach Natural beschaffen und gezielt einsetzen. Schließlich kann es erforderlich sein, dass CoSort Daten in Adabas-Quellen und -Zielen manipuliert, maskiert, repliziert, von ihnen…
-
❌ Excel für BI ❌ Schnellere Datenverarbeitung von einem oder mehreren Excel-Arbeitsblättern zusammen mit Tabellen, Flat-Files und Streaming-Daten ❗
Verarbeitung von Tabellenkalkulationsdaten: Zusätzlich zu allen anderen strukturierten Datenquellen, die die IRI-Software bereits unterstützt, ist es jetzt möglich, Daten aus XLS- und XLSX-Dateien im SortCL-Programm zu lesen und zu verarbeiten! IRI CoSort, für schnelles Sortieren, Umwandeln und Berichten IRI NextForm, für Mapping, Migration und Replikation IRI RowGen, für die zufällige Auswahl oder Generierung von realistischen Testdaten IRI FieldShield, für die Maskierung sensibler Daten IRI Voracity, für alle oben genannten Funktionen sowie für ETL, Datenbereinigung und -aufbereitung für Analysezwecke und zum Zurückschreiben der resultierenden Daten in diese oder andere Ziele, einschließlich eines oder mehrerer Blätter. Dieser Artikel gibt einen Überblick über die Operationen und die Syntax des SortCL-Programms, das mit IRI…
-
❌ Testdaten für CI/CD ❌ Sichere, realistische Testdaten in einer CICD-Pipeline erstellen und verwenden ❗
Erstellung von Testdaten in einer CI/CD-Pipeline: Die Grundlage der DevOps-Automatisierung ist die Möglichkeit zu automatisieren, wo und wann man kann. Die Möglichkeit, IRI-Jobskriptausführungen, die Testdaten maskieren oder synthetisieren, in der CI/CD-Pipeline zu verarbeiten, unterstützt dieses Ziel. Dieser Artikel veranschaulicht ein End-to-End-Beispiel für eine erfolgreiche Integration mit GitLab. Dies ist der erste von vier Artikeln einer Serie; die folgenden Artikel in diesem Blog zeigen, wie man IRI-Testdaten in Amazon CodePipeline, Azure DevOps und Jenkins einspeist. Das Wachstum von DevOps: DevOps ist ein Begriff, den viele, wenn nicht sogar alle von uns gehört haben, wenn es um die neuesten Trends und Bewegungen in der Technologiebranche geht. DevOps kombiniert die Softwareentwicklung (Dev) und den…
-
❌ Datenschutz in NoSQL ❌ Automatische Datenmaskierung von sensiblen Informationen in Elasticsearch wie CSV- oder JSON-Dateien ❗
Wie man PII in Elasticsearch findet und maskiert: Elasticsearch ist eine Java-basierte Suchmaschine, die über eine HTTP-Schnittstelle verfügt und ihre Daten in schemafreien JSON-Dokumenten speichert. Leider werden die Online-Datenbanken von Elasticsearch nach wie vor durch eine Flut von kostspieligen und schmerzhaften Verletzungen von personenbezogenen Daten (PII) geplagt. Würden jedoch alle PII oder andere sensible Informationen in diesen DBs maskiert, wären erfolgreiche Hacks und Entwicklungskopien unter Umständen unproblematisch. Der Zweck von IRI DarkShield ist es, diese Informationen in der Produktion oder im Test mit Hilfe von Anonymisierungsfunktionen, die dem Datenschutzrecht entsprechen, zu sperren. Der Such- und Maskenassistent Elasticsearch in der grafischen IDE der IRI-Workbench für IRI DarkShield verwendet die gleichen Werkzeuge…
-
❌ Schnelle Datentransformation ❌ Wachsendes Data Warehouse bewältigen = ohne zusätzlicher Hardware, Spark oder Hadoop ❗
Die meisten ETL- und ELT-Tools sowie die von ihnen verwendeten Datenbankmodule können große Datenmengen nicht effizient transformieren ohne: eine teure Parallelverarbeitungs-Edition Entnahme von Datenbank- oder Systemressourcen von Dritten eine komplexe, schwer zu wartende Hadoop-Umgebung eine 6 oder 7-stellige Hardware-Appliance oder Server-Upgrades das Problem auf eine noch teurere Datenbank zu übertragen Es sind die großen Sortier-, Joint- und Aggregationsaufträge, die zu lange dauern können. Auch nachfolgende Aufgaben wie das Laden, Analysieren oder BI-Displays leiden. Und diese E-, T- und L-Schritte werden typischerweise in separaten Schritten, I/O-Durchgängen, Produkten oder ständig wechselnden Cloud-Konfigurationen durchgeführt. Lösungen: Wenn Sie andere ETL- oder ELT-Software verwenden, können IRI-Extraktions- und Transformationsprogramme wie FACT oder CoSort – oder die…
