-
❌ Test Data Generation ❌ Realistische Testdaten-Werte konsistent über Tabellen oder Dateien hinweg synthetisieren ❗
Datengenerierungsregeln in der IRI-Workbench: Die IRI Workbench GUI enthält einen Abschnitt mit Datengenerierungsregeln auf Feldebene zur Verwendung in der IRI RowGen-Testdatensynthese, der IRI FieldShield-Datenmaskierung und anderen SortCL-kompatiblen Aufgaben oder IRI Voracity (ETL)-Workflows. In diesem Artikel werden diese Funktionen vorgestellt, die ebenso wie Datenmaskierungs- oder Datenqualitätsfunktionen ad hoc oder global in Multi-Source-Jobs eingesetzt werden können. Es können 11 verschiedene Arten von synthetischen Testdaten generiert werden, hier sind die technischen Details zu den verschiedenen Generatoren wie zum Datumsbereich-Generator, Lineare Verteilung, Normalverteilung, Gewichtete Verteilung von Elementen, E-Mail-Generator, Nationale ID-Funktionen, Prozentsatz der Nullen Wert, Zufallswertgenerierung, Zeilen-ID-Wert, Dateiauswahl setzen, String-Generierungsfunktionen und Tabellen-Lookup. Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American…
-
❌ Anonymisierung von PHI ❌ Blurring auf Zeilenebene statt auf Spaltenebene bei gleichzeitiger Beibehaltung des Intervalls zwischen diesen Daten ❗
. Verschieben von Datumsangaben unter Beibehaltung von Intervallen: Eine der Anforderungen an die Datenmaskierung für IRI FieldShield, die wir in Anwendungsfällen der PHI-Anonymisierung sehen, beinhaltet das Blurring (Unschärfe/Verwischen) von Daten auf Zeilenebene statt auf Spaltenebene bei gleichzeitiger Bereitstellung einer konfigurierbaren Option zur Beibehaltung des Intervalls zwischen diesen Daten. Dies wird typischerweise in klinischen Forschungs- oder Testdatenszenarien benötigt, bei denen bestimmte Intervalle zwischen den Daten für die Aufnahme oder Entlassung in ein Krankenhaus oder den Beginn und das Ende einer Behandlung eingehalten werden müssen. Nehmen wir an, dass eine Tabelle oder Datei in der Produktion eine Spalte "StartDate" und "EndDate" enthält. Die Werte beider Daten müssen anonymisiert, aber um die gleiche…
-
❌ Dynamische Datenmaskierung ❌ Sensible Informationen in Echtzeit von datenbankverbundenen Anwendungen dynamisch schützen ❗
Dynamische Datenmaskierung: Datenbank und Datei-PII in Echtzeit schützen! Dieser Artikel beschreibt eine Methode zur dynamischen Datenmaskierung (DDM), die für IRI FieldShield verfügbar ist und ein Proxy-basiertes System zum Abfangen von Anwendungsabfragen an JDBC-verbundene Datenbanken verwendet. Es ist einer von mehreren Ansätzen zur Maskierung von Daten im Flug, die FieldShield-Benutzer in Betracht ziehen können. Andere IRI-DDM-Optionen umfassen: API-aufrufbare FieldShield-Funktionen, die in C/C++/C#-, Java- oder .NET-Programme eingebettet sind; Echtzeit-FieldShield-Funktionen, die in SQL-Prozeduren eingebettet sind, die maskierte Ansichten erstellen; und die dynamische Demaskierung von statisch maskierten Tabellen für autorisierte Benutzer. Das hier vorgestellte proxy-basierte System verwendet einen zweckmäßigen, datenbankspezifischen "JDBC SQL Trail"-Treiber in Verbindung mit einer Konfigurations- und Verwaltungs-Webanwendung namens SQL Sharp (SQL#).…
-
❌ Datenmigration und Datenbankmigration ❌ Umfangreiche Datenkonvertierung oder Neuzuordnung/Datenmapping in Legacy-Quellen ❗
Entsperren Sie den Geschäftswert von Anwendungsdaten: NextForm befreit Ihre Daten, Programme und Datenbanken von Legacy-Formaten und Vendor Lock-Ins. Mehr Datenvielfalt bedeutet höhere Benutzerfreundlichkeit!Verwenden Sie Ihre Daten für einen neuen Zweck: NextForm modernisiert Dateiformate, damit diese in neuen Anwendungen verwendet werden können. Es repliziert auch DB-Daten, ordnet Datentypen neu zu und zeichnet Layouts auf und erstellt föderierte Sichten, um Einblicke zu beschleunigen! Höhere Leistung und niedrigere Kosten: NextForm bietet auch die Möglichkeit, Daten während des Verschiebens zu löschen, wodurch I/O beschleunigt und Speicher reduziert wird. Reduzieren Sie Design und Laufzeit um 75% und nutzen Sie die Point-and-Click-Feldzuordnung, mit der Sie Daten mühelos kontrollieren können! Ein aktueller Live-Walkthrough: Schauen Sie sich dieses…
-
❌ Schnelleres ETL und ELT ❌ Die Big Data Sortier-, Join- und Aggregationsjobs erheblich beschleunigen, ohne RDB oder Budget zu belasten ❗
Big Data Integration: Erschwingliche ETL-Beschleuniger & Alternativen! Schnelleres E, T & L: Die meisten Datenintegrationsaufgaben werden in älteren ETL- oder ELT-Tools durchgeführt, die auf kompilierten Java-Programmen oder ineffizienten In-DB-Transformationen beruhen. Der Entwurf und die Ausführungszeit von Jobs leidet darunter. Dies gilt auch für alle nachgeschalteten Abfragen und Anwendungen, die von diesen Jobs abhängen. Details hier! Die erschwingliche Alternative: Hunderttausende von Euros und viele Monate werden für den Aufbau und die Unterstützung von Arbeitsplätzen in veralteten ETL-Tools aufgewendet. Mehrere Benutzer und Lizenzen summieren sich schnell und dominieren die Projektbudgets. Kleine und mittelständische Unternehmen sind mit Open-Source-Tools beschäftigt, die nicht leistungsfähig sind. Details hier! 5 einfachere Vorgehensweisen: Lange Beratungsverträge sind erforderlich, um…
-
❌ Beschleunigung von VLDB ❌ Paralleles Entladen von Oracle, DB2 und anderer Big Data Tabellen in Flat-Files ❗
Datenerfassung beschleunigen: Unloads 7x schneller! IRI FACT™ ist ein Dienstprogramm zum parallelen Entladen von sehr großen Datenbanktabellen (VLDB). FACT verwendet einfache Job-Skripte (unterstützt in einer vertrauten Eclipse-GUI), um schnell portable Flat-Files zu erstellen. Die Geschwindigkeit von FACT basiert auf nativen Verbindungsprotokollen und einer proprietären Split-Abfragelogik, die Milliarden von Zeilen in Minuten entladen. IRI FACT verwendet native Datenbank-APIs und parallele Verarbeitung, um Tabellen schneller in Flat-Fiels umzuwandeln als jedes andere Entladetool oder -verfahren. FACT skaliert linear im Volumen, so dass das Entladen einer Zwei-Milliarden-Zeilentabelle nicht mehr als doppelt so lange dauern sollte wie das Entladen einer Ein-Milliarden-Zeilentabelle. Die Kombination der leistungsstarken Extraktion von FACT mit den leistungsstarken, konsolidierten Datentransformationen und vorsortierten…
-
❌ DBTA Top 100 ❌ Die wichtigsten 100 Anbieter für Datenverarbeitung und Datenmanagement von Big Data in 2021 ❗
DBTA 100 in 2021: Die wichtigsten Unternehmen der Datenbranche! Die DBTA 100 zeigen zukunftsweisende Unternehmen, die bestehende Technologien und Prozesse verbessern und erweitern, um ihren Kunden eine effektivere Datennutzung zu ermöglichen. Wie jedes Jahr präsentieren wir zusätzlich zu den DBTA 100 auch "View From the Top"-Artikel, die von Führungskräften aus der Branche verfasst wurden und in ihren eigenen Worten erklären, wie ihre Unternehmen die heutigen Probleme und Chancen im Datenmanagement auf einzigartige Weise bewältigen. Unser Partner IRI wurde 1978 gegründet, um Sortier- und Berichtsfunktionen im Großrechnerformat auf Abteilungs- und Desktop-Computer zu bringen. Heute können Sie die jahrzehntelangen Fortschritte von IRI bei der Hochgeschwindigkeitsdatenbewegung und -manipulation in ergonomischen Softwareprodukten nutzen –…
-
❌ Testdatamanagement Marktstudie ❌ Metadaten-kompatible Datenmaskierung, Subsetting und Testdatensynthese ❗
Datenentdeckung, Integration, Migration, Governance, Analytik! IRI Voracity® ist eine Full-Stack Data Lifecycle Management-Plattform, die das Beste aus CoSort®, Eclipse™, Hadoop® und anderen erstklassigen Technologien nahtlos kombiniert. Seit 1978 hat IRI CoSort die Datentransformationsarbeit beschleunigt und erweitert. Es ist ein bewährtes Verfahren: ETL-Optimierer, BI-Datenvorbereiter, DB-Lade- und Abfragebeschleuniger, Datenvalidierungs- und Qualitätswerkzeug, Berichtsgenerator, Datenkonverter, und es kann PII maskieren und Testdaten erstellen. Nur IRI Voracity® kann eine große Bandbreite und Menge an Daten in einer einzigen erschwinglichen Eclipse™ Konsole bearbeiten und verwalten! Mit der IRI Voracity-Plattform können Sie mehrere Testdatenziele für Testdatenbanklasten, Flat-File-Strukturen und benutzerdefinierte Berichtsformate von Grund auf neu generieren – alles ohne Zugriff auf echte Daten. Oder wenn Sie reale Daten…
-
❌ Cubeware Cockpit ❌ Schnellere Datenintegration mit GDPR-anonymisierten Daten für BI-Analytics in Cubeware Cockpit ❗
In früheren Artikeln im BI-Abschnitt unseres Blogs haben wir beschrieben, wie der Umgang mit Daten mit unserem Datenmanipulationsprodukt IRI CoSort und der Datenverwaltungsplattform IRI Voracity die Zeit bis zur Datenvisualisierung und damit zu verwertbaren Erkenntnissen in BI-Tools wesentlich verkürzt. In diesem Artikel werden die Vorteile des Data Wranglings hervorgehoben, die Voracity für Analysen in der Cubeware-Plattform bietet! Voracity ist sehr schnell im Umgang mit Daten und verfügt über ein sehr breites Spektrum an Datenmanipulations- und Datenschutzfunktionen, es fehlt jedoch ein Onboard-Visualisierungs- und Dashboarding-Tool. Hier kommt Cubeware Cockpit ins Spiel. Umgekehrt steigert Voracity für Anwender von Cubeware Software den Wert ihres Importer-Prozesses durch schnelle, konsolidierte Datentransformation, Bereinigung und Maskierung. Cubeware Cockpit:…
-
❌ Datensicherheit und Compliance ❌ In RDB- oder NoSQL-DBs statisch gespeicherte PII finden, verschlüsseln und dynamisch entschlüsseln ❗
Preisgekrönte datenzentrische Sicherheit: PII überall klassifizieren, finden und maskieren! Renommierte Softwareprodukte der IRI Datenschutz Suite oder der IRI Voracity Datenmanagement-Plattform werden: personenbezogene Daten (PII) und andere "gefährdete Daten" in mehreren Quellen finden, klassifizieren und schützen. Jedes einzelne hilft Ihnen, die CCPA, CIPSEA, FERPA, HIPAA/HITECH, PCI DSS und SOC2 in den USA sowie internationale Datenschutzgesetze wie GDPR, KVKK, LOPD, PDPA und POPI einzuhalten (und nachzuweisen). Wir und unsere autorisierten Partner auf der ganzen Welt können Ihnen helfen, zweckmäßige Compliance- und Verletzungsminderungslösungen mit diesen Technologien zu implementieren, wenn Sie Hilfe benötigen. Für weitere Informationen verlinken Sie auf die untenstehenden Produkte und Anwendungsfälle. Vereinbaren Sie hier eine kostenlose Online-Demonstration oder eine Evaluierung vor…
