-
❌ Software AG Adabas + Natural ❌ Schnellere Sortierung via Plug’n’Play Sort für nahtlose Prozessbeschleunigung ❗
. Herausforderungen: Schnellerer Weg, um große Datensätze direkt aus Natural zu sortieren! IRI CoSort enthält eine Plug’n’Play-Sortierbibliothek für Benutzer von Natural unter Unix. Ohne Benutzereingriff und einen einfachen Makefile-Link kann die CoSort Engine in Natural bis zu sechsmal schneller sortieren als die native Sortierung. Eine vollständige Anleitung zur Verwendung von CoSort und einer externen Sortierung finden Sie in der Installationsdokumentation der Software AG Natural unter "Re-Linking a Natural Nucleus". CoSort erschwingliche, bequeme und schnellere Möglichkeit zur Verarbeitung und Berichterstattung großer Dateien, während Sie große Arbeitsdateien von und nach Natural beschaffen und gezielt einsetzen. Schließlich kann es erforderlich sein, dass CoSort Daten in Adabas-Quellen und -Zielen manipuliert, maskiert, repliziert, von ihnen…
-
❌ Splunk Phantom SOAR ❌ Automatische Reaktionen auf PII-Schwachstellen für Datensicherheit in unstrukturierten Dark Data Quellen ❗
. Splunk Phantom: Playbook zum Maskieren sensibler Daten! Splunk Phantom ist eine Orchestrierungs-, Automatisierungs- und Reaktionstechnologie zur Ausführung von "Playbooks", um auf verschiedene Bedingungen zu reagieren. Phantom verbindet sich mit Splunk Enterprise über die Phantom App für Splunk, so dass Aktionen auf Wissen, das aus in Splunk indizierten Daten abgeleitet wurde, durchgeführt werden können. IRI DarkShield ist ein leistungsstarkes Datenmaskierungspaket, das in einer Vielzahl von unstrukturierten Datenquellen versteckte PII entdecken, löschen, de-identifizieren und/oder ausliefern kann. In v3 wurde eine Befehlszeilenschnittstelle (CLI) hinzugefügt, die es Anwendungen von Drittanbietern ermöglicht, für DarkShield konfigurierte Remediation-(Maskierungs-)Jobs einzubetten oder auszuführen, einschließlich Phantom. Damit ist es nun möglich, Sicherheitsreaktionen auf PII-Schwachstellen in Dark Data zu automatisieren,…
-
❌ Batch Stapelverarbeitung ❌ Ausführung von Batch-Jobs für synthetische Testdaten und GDPR-konforme Datenmaskierung ❗
Herausforderungen: In einer schnelllebigen DevOps- und Continuous Integration (CI)/ Continuous Deployment (CD)-Umgebung kann die Fähigkeit, konsistente und realistische Testsätze zu generieren und zu automatisieren, die in Format und Umfang sehr unterschiedlich sein können, eine große Herausforderung darstellen und Programmierer mit engen Lieferfristen ablenken. Lösungen: IRI RowGen zur Erstellung von Testdaten verwendet Produktions-Metadaten, um benutzerdefinierte, synthetische Testsätze mit zufällig generierten Daten und/oder zufällig ausgewählten Daten aus Produktionsquellen zu erstellen. Um die richtige Menge und Wertebereiche zu erzeugen, verwendet es bedingte Auswahl- und Formatierungsparameter. RowGen verbessert den Realismus der Testdaten weiter durch referentielle Integrität, Häufigkeitsverteilungen und integrierte Transformations- und Formatierungsfunktionen. Sie können bspw. Daten nach dem Zufallsprinzip auswählen und Bereiche aus Pools…
-
❌ Datenmigration und Datenbankmigration ❌ Schnellerer Rollout und Datenreplikation auf neuen Plattformen ❗
Herausforderungen: Mainframe-Downsizing, Portierung von Daten zwischen Anwendungen, Aktualisierung oder Plattformwechsel? Müssen Sie die Änderungen an den Daten auffinden, klassifizieren, neu zuordnen und/oder verfolgen? Dies alles sind Schlüssel zur Erschließung des Wertes von Geschäftsanwendungsdaten in operativen Datenbanken, COBOL-Dateien und mehr. Die IRI Voracity-Plattform oder die IRI Datenmanagement-Suite und insbesondere deren Produkt-Komponent NextForm erfüllen eine Vielzahl von Datenmigrations- und Replikationsanforderungen schneller und kostengünstiger als herkömmliche Anbieter- und Speziallösungen. Informieren Sie sich in diesem Abschnitt über die migrationsspezifischen Lösungen von IRI und in unserem Abschnitt über den Datenbankbetrieb über die vielen anderen Lösungen zur Datenbankoptimierung und -schutz. Kontaktieren Sie IRI Professional Services für Hilfe bei komplexeren Konvertierungsprojekten. Hier finden Sie weitere Details zu…
-
❌ CDI und CDP ❌ Riesige Datenmengen via Data Wrangling bewältigen, um einkaufsbezogene Referenzdaten zu erhalten ❗
Lösungen zur Umsatzoptimierung: Schnellere Datentransformation bedeutet schnellere Entscheidungen! Unsere Kunden önnen die IRI Voracity ETL-Plattform oder die jahrzehntelang bewährte IRI CoSort Engine nutzen, um große Mengen an kaufrelevanten Referenzdaten zu iintegrieren, aufzubereiten und zu verarbeiten: Verkaufs- und Buchungssätze Verbraucher- und demographische Umfragen Finanzdaten, einschließlich Preisindizes, Immobilienmärkte und Versicherungsrisiken Marketing- und Verschreibungsdatenbanken Katalog- und Prämienprogramm-Abonnements Weblogs (Clickstream-Analysen) Identifizieren, bereinigen und helfen, über das Kaufverhalten zu berichten. Führen Sie die Integration von Kundendaten und die Erfassung von Änderungsdaten in hochvolumigen Data Warehouses und E-Commerce-Daten-Webhouses, operativen Data Stores, Data Lakes und Flat Files durch. Verwenden Sie Ihr bevorzugtes BI- oder Analysetool oder nutzen Sie kompatible Analyse- und maschinelle Lernwerkzeuge wie KNIME, um das…
-
❌ Datenqualität ❌ Schnelles Data Profiling mit Datenbereinigung in strukturierten Tabellen oder Dateien für korrekte Daten ❗
Herausforderungen: Die Datenbereinigung kann kompliziert, zeitaufwändig und teuer sein. Die Funktionen, die Sie in 3GL, Shell-Skripten oder SQL-Prozeduren schreiben, können komplex und schwer zu pflegen sein. Sie erfüllen möglicherweise nicht alle Ihre Geschäftsregeln oder erledigen die gesamte Arbeit. Benutzerdefinierte Funktionen können auch in separaten Batch-Schritten oder in einer speziellen "Script-Transformationskomponente" ausgeführt werden, die Sie mit dem Datenfluss Ihres Tools verbinden und in kleineren Teilen ausführen müssen. Das ist ein Problem bei wachsenden Datenmengen. Datenqualitätswerkzeuge hingegen können auch viel von dieser Arbeit leisten. Leider sind sie bei hohem Volumen nicht besonders effizient und können schwer zu konfigurieren oder zu modifizieren sein. Sie können auch ein funktionaler Überfluss sein und viel kosten.…
-
❌ Daten für/von Snowflake ❌ Daten zu oder von Snowflake und einer anderen On-Premise Datenbank oder Cloud-Quelle zuordnen, mit Datenmaskierung ❗
Snowflake ETL und PII-Maskierung: Schnelles, kostengünstiges Datenmapping & Verwaltung! Möglicherweise sind Sie mit diesen zeitaufwendigen Problemen bei der Arbeit mit Snowflake konfrontiert: Datensuche, -profilierung und/oder -klassifizierung Integration oder Daten-Wrangling für DW/BI-Ops Datenbewegung/Migration zu/von Tabellen Transformieren oder Laden großer Tabellen Datenerfassung oder -replikation ändern Clustering oder Abfrage der Performance Generierung intelligenter und sicherer Testdaten Maskierung sensibler Daten Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden und erfordern eine Optimierung und dauern dann immer noch zu lange! Daten in Ordnung halten: IRI CoSort für die Vorsotierung von Flat-Files für Bulk-Ladungen und Inserts. Das entfernt den Overhead dieser Arbeit von Snowflake,…
-
❌ Datensicherheit in Elasticsearch ❌ Genaues Auffinden und konsequenter Datenschutz in Elastic – DSGVO und GDPR konform ❗
PII in Elasticsearch finden und maskieren: Elasticsearch ist eine Java-basierte Suchmaschine, die über eine HTTP-Schnittstelle verfügt und ihre Daten in schemafreien JSON-Dokumenten speichert. Leider werden die Online-Datenbanken von Elasticsearch nach wie vor durch eine Flut von kostspieligen und schmerzhaften Verletzungen von personenbezogenen Daten (PII) geplagt. Würden jedoch alle PII oder andere sensible Informationen in diesen DBs maskiert, wären erfolgreiche Hacks und Entwicklungskopien unter Umständen unproblematisch. Die preisgekrönte datenzentrische ("Startpunkt") Sicherheitssoftware von IRI hat sich in einer Vielzahl von Umgebungen zur Aufhebung von Verstößen, Einhaltung des Datenschutzes und DevOps (Testdaten) wiederholt bewährt. Verwenden Sie zweckmäßige IRI-Datenschutzprodukte oder die umfassende IRI Voracity-Plattform, um sensible Daten zu finden und zu maskieren – egal…
-
❌ Pentaho Data Integration ❌ Extreme Beschleunigung in PDI (ehemals Kettle) von ETL plus sicheren Datenschutz für GDPR ❗
Herausforderungen: Pentaho Data Integration ist zwar ein leistungsfähiges Werkzeug zur Aufbereitung und Integration von Daten, weist aber einige (Sicherheits-)Mängel auf! 1. Langsame Transformierungen: Native Sorts usw. laufen möglicherweise nicht schnell genug und nicht bei großer Menge. 2. Eingeschränkte De-ID-Funktionen: Daten, die durch Kettle fließen, können nicht maskiert oder verschlüsselt werden. 3. Begrenzte Testdaten: Kein Prototyp von ETL-Aufträgen ohne Verwendung von Produktionsdaten möglich. Dieser Artikel ist der erste in einer 3-teiligen Serie über die Verwendung von IRI-Produkten zur Erweiterung der Funktionalität und Verbesserung der Performance in Pentaho-Systemen. Wir zeigen zunächst, wie Sie die Sortierleistung verbessern können und stellen dann Möglichkeiten vor, Produktionsdaten zu maskieren und Testdaten in der Pentaho Data Integration-Umgebung…
-
❌ TDM mit Windocks-Container ❌ Sichere, konforme und realistische Testdatenbankumgebungen = GDPR-konforme Testdaten ❗
Bereitstellung von Container-basierten virtualisierten Testdatenbanken: Integrierte PII-Maskierung, Subsetting und synthetische Daten für On-Demand-Lieferung! Innovative Routines International (IRI), Inc., ein führender Anbieter von Big Data Management und datenzentrierter Sicherheit, und Windocks, ein führender Anbieter von Datenbank-Containern und -Virtualisierung, haben ein gemeinsam entwickeltes, Container-basiertes Testdaten-Repository angekündigt. Das integrierte "Test Data Repo" liefert in Sekundenschnelle IRI-maskierte, subsettierte oder synthetisierte Datenbank-Images für Softwaretests, QA und andere Unternehmensanforderungen und reduziert gleichzeitig die Kosten für die Entwicklungs-/Testinfrastruktur um durchschnittlich 50 bis 70 %. Container werden in DevOps-Prozessen bevorzugt eingesetzt! Die IRI-Windocks-Lösung nutzt die Geschwindigkeit und Sicherheit von Containern für das Testdatenmanagement. Das IRI-Windocks Testdaten-Repo bietet sichere testfertige Datenbank-Klone auf Abruf, für Container, konventionelle Instanzen und Workstations,…
