-
❌ Trend Setting Produkt für 2021 ❌ Plattform Voracity für schnelles Data Staging, Governance, Wrangling und Analytik ❗
. Integrieren, bereinigen, analysieren und auf Daten reagieren – alles auf einmal! Eine "Production Analytic Platform" ist ein modernes Datenintegrations-Paradigma, das von Barry Devlin, PhD, definiert wurde und Datenprozesse mit Informationen in einer Post-Data-Warehousing- und Data-Lake-Welt gleichsetzt. Die Production Analytic Platform vermählt Datenaufbereitung und -präsentation in Design- und vor allem Laufzeitaspekten, um Predictive Analytics mit Produktionswerten und -zielen zu verbinden. Devlin hat IRI Voracity als die seltene Plattform für schnelles Data Staging, Governance, Wrangling und Analytik identifiziert. Angetrieben von schnellen IRI CoSort- oder Hadoop-Engines und mit Eclipse als Frontend, können Voracity-Jobs gleichzeitig Datenintegrations- (Transformation und Konsolidierung) und Governance-Operationen (PII-Maskierung und -Bereinigung) kombinieren und ihre Ergebnisse direkt in unzählige unterschiedliche Ziele…
-
❌ Schutz von Dark Data ❌ PII in semi/un/strukturierten Datenquellen via Eclipse GUI und Web Service Call via API schützen ❗
PII in unstrukturierten Datenquellen: Definieren, erkennen und de-identifizieren! Mit IRI DarkShield können Sie Daten in mehreren semistrukturierten und unstrukturierten Dateiformaten und RDB-Spalten auf einmal klassifizieren, finden und löschen oder anderweitig maskieren (ebenso wie Gesichter und NoSQL DBs), indem Sie gemeinsame Datendefinitionen und benutzerdefinierte Kombinationen von Such- und Maskierungsfunktionen verwenden. Dabei können Sie auch Auftragsergebnisse (und die zugehörigen Dateimetadaten) in Ihrer DarkShield– oder SIEM-Umgebung extrahieren, gemeinsam nutzen und anzeigen. Der beste Weg um unstrukturierte Daten zu finden und zu maskieren: PII und andere sensible Daten in Dark Data schützen! Mit DarkShield können Sie Anfragen nach dem "Recht auf Vergessen" erfüllen, bestimmte Datenextrakte an diejenigen liefern, die die Übertragbarkeit von Datensätzen…
-
❌ Oracle Datenmaskierung ❌ Sensible Daten in-situ mit verschiedenen Funktionen beim Einfügen oder Aktualisieren automatisch maskieren ❗
Echtzeit-Datenmaskierung mit Triggern: In früheren Artikeln wurde die statische Datenmaskierung neuer Datenbankdaten mit Hilfe der /INCLUDE-Logik oder der /QUERY-Syntax in geplanten IRI FieldShield-Job-Skripten beschrieben, die Änderungen der Spaltenwerte erforderten, um Aktualisierungen zu erkennen. Dieser Artikel beschreibt einen passiveren, aber integrierten Weg zum Auslösen von FieldShield-Maskierungsfunktionen auf der Basis von SQL-Ereignissen, d.h. zum Maskieren von Daten, wie sie in Echtzeit erzeugt werden. Er kann auch als "Prozedurenmodell" für andere Datenbanken und Betriebssysteme dienen. Dieser Artikel geht zunächst auf die Installation von FieldShield ein und nennt auch die dazu benötigten Anforderungen. Danach folgt ein anschaulicher Anwendungsfall mit PL/SQL-Triggern für die ASCII-Format bewahrende Verschlüsselung und die dazu gehörende entschlüsselte Ansicht. Allgemeiner gesagt können…
-
❌ Microsoft SQL Server 10x schneller ❌ Lokal oder Cloud: ETL/Reorgs optimieren, BI-Datenaufbereitung, PII finden/schützen, migrieren und testen ❗
Herausforderungen: Möglicherweise haben Sie eines oder mehrere dieser zeitaufwendigen Probleme bei der Arbeit mit MS SQL Server-Datenbanken vor Ort oder in der Azure-Cloud: Datenermittlung: Profilerstellung, Klassifizierung, ERDs Be- und Entladen großer Tabellen Routinemäßige Versorgungsoperationen (Reorgs) Komplexe Abfragen oder PowerBI-Performance Migrations- oder Replikationsarbeiten Schlechte Datenqualität oder Einheitlichkeit Zugriffs- und Aktivitätskontrolle, Überwachung und Audit (Firewall) Maskierung von PII in Tabellen statisch oder in Anwendungen wie MS Dynamics dynamisch Generierung intelligenter und sicherer Testdaten für Prototyping, DevOps, Demos, etc. Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange. Lösungen: Einfache und kostengünstige…
-
❌ Intelligente + synthetische Testdaten ❌ Erstellung von Test Data via Produktions-Metadaten für DevOps, DB, DV und ETL-Prototypen ❗
Herausforderungen: Anwendungen und Datenbanken haben ihre eigene Logik und einzigartigen Eigenschaften. Damit Testdaten in diesen Kontexten nützlich sind, müssen sie Produktionsmerkmale widerspiegeln, wie z.B: Auswahlbedingungen (Geschäftsregeln) Spaltenattribute und Transformationen Inter-Feld/Schlüssel-Beziehungen (referentielle Integrität) Wertebereiche und spaltenübergreifende Berechnungen Auch Testdaten zur Produktionsqualität müssen diese Attribute aufweisen: Typ – korrekte Spalten-/Feldwerte und Formate Breite – Werte mit aktuellen (und zukünftigen) Bereichen Häufigkeit – realistische Muster des Auftretens von Werten Tiefe – Volumina, die Skalierbarkeitsprobleme ansprechen In einer schnelllebigen DevOps- und Continuous Integration (CI)/ Continuous Deployment (CD)-Umgebung kann die Fähigkeit, konsistente und realistische Testsätze zu generieren und zu automatisieren, die in Format und Umfang sehr unterschiedlich sein können, eine große Herausforderung darstellen und Programmierer…
-
❌ Talend Data Fabric ❌ Mittels CoSort 4x schnellere Datenintegration, plus PII-Datenschutz via Datenmaskierung und synthetische Testdaten generieren ❗
Herausforderungen: Auch nach der Beratung und Abstimmung können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versionsupgrade von Talend! Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen. Aus Sicherheitssicht bietet Talend möglicherweise nicht die Funktionen zum Erkennen, Klassifizieren oder Maskieren von Daten oder zum Testen von Datenfunktionen, die Datenverwalter und Anwendungsentwickler benötigen Transformationen beschleunigen: Sort-Beschleunigung, Aggregation und Zusammenführen von Talend ETL-Strömen mit einem tSystem-Aufruf an die Programme CoSort Sort Sort Control Language (SortCL).…
-
❌ Datenmaskierung ❌ Unabhängig davon, ob PII in Datenbank relational oder NoSQL, vor Ort oder in der Cloud – oder in einer EDI- oder Excel-Datei ❗
Datenmaskierung: Der Schutz von personenbezogenen Daten! Inmitten pausenloser Berichte über Datenschutzverletzungen und einem wachsenden regulatorischen Umfeld für persönliche identifizierbare Informationen (PII) weltweit, sind mehrere Technologielösungen und Compliance-Dienste entstanden, um den Schutz von PII zu thematisieren. Die logische Sicherheit durch Verschlüsselung in der einen oder anderen Form ist ein gemeinsamer Nenner des Ansatzes, aber die meisten kommerziellen Verschlüsselungsanwendungen sind begrentzt durch die Plattform, den Algorithmus und das Aussehen des Chiffriertextes, die Komplexität der Implementierung, der Laufzeitleistung und insgesamt der Kosten. Die Verschlüsselung von Datenquellen und -geräten auf Massenbasis verhindert den Zugriff auf nicht-sensible Daten, macht die Ziele ungeeignet für DevOps mit Tests und macht alle Daten durch einen einzigen Verstoß gegen…
-
❌ Hitachi Vantara Pentaho ❌ Mithilfe von CoSort 15x schnellere Sort-Jobs, mit PII-Schutz via Datenmaskierung und synthetische Testdaten erzeugen ❗
Herausforderungen: Pentaho Data Integration (PDI) ist zwar ein leistungsfähiges Werkzeug zur Aufbereitung und Integration von Daten, weist aber auch einige Mängel auf! 1. Langsame Transformierungen: Native Sorts usw. laufen möglicherweise nicht schnell genug und nicht bei großer Menge. 2. Eingeschränkte De-ID-Funktionen: Daten, die durch Kettle fließen, können nicht maskiert oder verschlüsselt werden. 3. Begrenzte Testdaten: Kein Prototyp von ETL-Aufträgen ohne Verwendung von Produktionsdaten möglich. Lösungen: PDI-Workflows unterstützen Systembefehle, so dass Daten ohne Unterbrechung extern verarbeitet werden können. IRI Voracity oder seine Komponentensoftware kann Pentaho-Anwendern helfen! 1. Transformationen beschleunigen: Verwenden Sie den Shell-Schritt von PDI, um einen IRI CoSort-Auftrag (z.B. SortCL-Skript) aufzurufen, um die Sortier-, Joint- und Aggregationszeiten drastisch zu reduzieren. Ausführen mehrerer Aufträge in…
-
❌ IBM DataStage ❌ Unkompliziert 10x schnellere Datenintegration für legacy ETL-Tool InfoSphere DataStage ❗
Herausforderungen: Auch nach der Beratung und dem Tuning können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versions-Upgrade von DataStage. Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen. Aus Sicherheitssicht können die Datenmaskierungslösungen von IBM für einige teuer oder umständlich sein oder nicht alle Funktionen der PII-Erkennung oder des Datenschutzes für andere bereitstellen. Lösungen: DataStage-Transformationen beschleunigen: Beschleunigen Sie das Sortieren, Aggregieren und Zusammenführen in einem einzigen Durchgang mit der CoSort Sort Control Language…
-
❌ Map für Data, BI & Analytics ❌ Endlich den Markt überblicken: BARC präsentiert transparente + strukturierte Übersicht über Software-Lösungen ❗
Endlich den Markt überblicken: Transparenz im dynamischen Markt für Data & Analytics! BARC präsentiert eine transparente und strukturierte Map-Übersicht über Lösungen in den Bereichen Data, BI & Analytics. „Den Durchblick auf dem wachsenden Softwaremarkt zu behalten, ist nicht einfach. Daher haben wir es uns zur Aufgabe gemacht, Anwenderinnen und Anwendern die Technology Map for Data & Analytics an die Hand zu geben“, sagt Patrick Keller, Senior Analyst Data & Analytics zur Neuerscheinung. Technology Map kostenfrei: Die Map mit über 700 einzelnen Lösungen ist zum einen als statische Version im BARC Guide Data, BI & Analytics sowie als interaktiver Browser auf bi-scout.com verfügbar. Sie zeigt auf einen Blick relevante Anbieter und…
