-
❌ Cubeware ❌ Push von Datenintegration und optional GDPR-anonymisierte Daten für BI-Analysen in Cubeware Cockpit ❗
Cubeware Cockpit: Cubeware wurde 1997 gegründet und ist ein innovativer Hersteller von BI-Software mit Sitz in Rosenheim, Deutschland. Cubeware bietet Lösungen für Datenmanagement, Visualisierung, Analyse und Planung. Eines der Cubeware Produkte ist Cockpit, der Dashboard-Designer des CSP C8. Cockpit kann Berichte für Windows, Web, Mobile und Snack (Cubeware’s agiles Instant Reporting Tool) erstellen. Es kann auch Daten aus relationalen und multidimensionalen Datenbanken integrieren. In früheren Artikeln im Business Intelligence (BI)-Abschnitt haben wir beschrieben, wie der Umgang mit Daten mit der SortCL-Engine im Datenmanipulationsprodukt IRI CoSort und der Datenverwaltungsplattform Voracity die Zeit bis zur Datenvisualisierung und damit zu verwertbaren Erkenntnissen in BI-Tools verkürzt. In diesem Artikel werden die Vorteile des Data…
-
❌ Datenmapping ❌ Unterschiedliche Quell- und Zieldatentypen bei Datenintegration und Datenmigration automatisch angleichen ❗
Datenbank-Datentypen zuordnen: Der Prozess der Datenübertragung von einer Datenbank (DB) zu einer anderen kann kompliziert sein, wenn diese DBs nicht die gleichen Datentypen verwenden. Ein DB-Datentyp-Mapping-Assistent ist jetzt in IRI Workbench implementiert, um dieses Problem für SortCL-gesteuerte Datenverwaltungsaufgaben mit unterschiedlichen Quellen und Zielen zu lösen. Wenn nach Abschluss einer Aufgabe, wie z. B. der Maskierung mehrerer Tabellen in IRI FieldShield, im Zielschema noch keine Tabellen für die maskierten Daten vorhanden sind, müssen vorab DDL-Skripte (Data Definition Language) zur Erstellung der Tabellen erstellt werden. Nehmen wir nun an, dass sich die Quell- und Zieltabellen in Datenbanken verschiedener Anbieter befinden. Es kann zu Fehlern in der DDL kommen, weil der Assistent, der…
-
❌ Change Data Capture ❌ In Echtzeit auf Änderungen in der Datenbank reagieren mit bspw. Datenreplikation an nachgelagerte Ziele ❗
Zusammenfassung: Daten, die in verschiedenen Branchen gesammelt, verarbeitet und gespeichert werden, werden ständig erzeugt und aktualisiert. Datenbank-Tabellen können mit neuen Daten aus Anwendungen oder Ereignissen in Intervallen aktualisiert werden, die nur Bruchteile von Sekunden betragen. Vor diesem Hintergrund hat IRI Ripcurrent als Zusatzfunktion in Voracity entwickelt, um Datenbank-Daten, die sich in Echtzeit ändern, zu überwachen, zu verschieben und zu verarbeiten. Was ist IRI Ripcurrent? Ripcurrent ist der Name einer von IRI entwickelten Java-Anwendung, die die eingebettete Debezium-Engine und die Streaming-Funktion des SortCL-Programms von IRI CoSort kombiniert, um in Echtzeit auf Datenbank-Änderungsereignisse zu reagieren, indem Daten an nachgelagerte Ziele repliziert werden, optional mit Transformationsregeln (z. B. PII-Maskierung), die konsequent auf der…
-
Patientendaten schützen ❌ Kritische Gesundheitsdaten in bspw. DICOM-Dateien automatisch finden und via Datenmaskierung schützen ❗
Umfassender Schutz von Patientendaten: PHI identifizieren oder zu anonymisieren! Mit Hunderttausenden von medizinischen Bildgebungsgeräten die im Einsatz sind, ist DICOM einer der am weitesten verbreiteten Nachrichtenstandards im Gesundheitswesen weltweit; Milliarden von DICOM-Bildern werden derzeit für die klinische Versorgung verwendet. Dieser Artikel beschreibt die Suche und De-Identifizierung von geschützten Gesundheitsinformationen (Protected Health Information, PHI) in DICOM-Metadaten und -Bildern mit Hilfe des Datenmaskierungstools IRI DarkShield und seiner Remote Procedure Call (RPC)-API für Dateien im Besonderen. DICOM (Digital Imaging and Communications in Medicine) ist ein Standard für die Kommunikation und Verwaltung medizinischer Bilddaten und zugehöriger Daten. DICOM ist in fast allen Geräten der Radiologie, der kardiologischen Bildgebung und der Strahlentherapie (Röntgen, CT, MRI,…
-
❌Proxy-basierte Datenmaskierung❌ Dynamische Datensicherheit bei Datentransaktion zwischen einer Anwendung und einer Datenbank ❗
Dynamische Datenmaskierung: Dieser Artikel beschreibt eine Methode zur dynamischen Datenmaskierung (DDM), die für IRI FieldShield verfügbar ist und ein Proxy-basiertes System zum Abfangen von Anwendungsabfragen an JDBC-verbundene Datenbanken verwendet. Es ist einer von mehreren Ansätzen zur Maskierung von Daten im Flug, die FieldShield-Benutzer in Betracht ziehen können. Andere IRI-DDM-Optionen umfassen: API-aufrufbare FieldShield-Funktionen, die in C/C++/C#-, Java- oder .NET-Programme eingebettet sind; Echtzeit-FieldShield-Funktionen, die in SQL-Prozeduren eingebettet sind, die maskierte Ansichten erstellen; und die dynamische Demaskierung von statisch maskierten Tabellen für autorisierte Benutzer. Das hier vorgestellte proxy-basierte System verwendet einen zweckmäßigen, datenbankspezifischen "JDBC SQL Trail"-Treiber in Verbindung mit einer Konfigurations- und Verwaltungs-Webanwendung namens SQL Sharp (SQL#). Alle technischen Details finden Sie hier…
-
❌ TDM ❌ Eine funktionierende und bezahlbare Testdatenmanagement-Strategie für genügend realistische Testdaten ❗
Testdaten-Management: Wie Ihnen jeder, der mit den Herausforderungen von "healthcare.gov" vertraut ist, bestätigen kann, erfordert die Entwicklung komplexer Anwendungen einen angemessenen Zeitraum für formale Tests und umfassende Testdaten. Je besser und umfangreicher Ihre Testdaten sind, desto zuverlässiger können Ihre neuen Lösungen und Abläufe sein. Ziel des Testdatenmanagements (TDM) ist es, die Erzeugung von Testdaten zu systematisieren und deren Qualität, Sicherheit und Nutzen zu verbessern. TDM ist zu einem IT-Imperativ geworden. Laut dem InfoSys-Whitepaper "Test Data Management, Enabling Reliable Testing through Realistic Test Data: "Testteams müssen nicht nur exakte Testmethodiken befolgen, sondern auch die Genauigkeit der Testdaten sicherstellen. Sie müssen auch sicherstellen, dass die Tests die Produktionssituationen korrekt widerspiegeln, sowohl funktional…
-
❌ ETL vs. ELT ❌ Die Prozesse der Datenintegration und des Data Staging bzw. der Datenaufbereitung effizienter gestalten❗
Data-Warehouse-Architekten (DWA) haben seit ihren Anfängen die Aufgabe, ein Data-Warehouse mit unterschiedlich beschafften und formatierten Daten zu erstellen und zu befüllen. Aufgrund des drastischen Anstiegs der Datenmengen stehen dieselben DWAs vor der Herausforderung, ihre Datenintegrations– und Staging-Vorgänge effizienter zu gestalten. Die Frage, ob die Datentransformation innerhalb oder außerhalb der Zieldatenbank stattfindet, ist aufgrund der damit verbundenen Leistungs-, Komfort- und finanziellen Auswirkungen zu einer kritischen Frage geworden. Bei ETL-Vorgängen (Extrahieren, Transformieren, Laden) werden Daten aus verschiedenen Quellen extrahiert, separat transformiert und in eine DW-Datenbank und möglicherweise andere Ziele geladen. Bei ELT werden die Extrakte in eine einzige Staging-Datenbank eingespeist, die auch die Umwandlungen übernimmt. ETL ist nach wie vor weit verbreitet,…
-
❌ Schutz von/in Dark Data ❌ Gezielte Datenmaskierung von Namen in unstrukturierten Quellen wie PDF, MS Office-Dokumenten, Bildern oder Textdateien ❗
Tensorflow- und PyTorch-NER-Modelle: Die Erkennung von benannten Entitäten (Named Entity Recognition, NER) ist eine Art des maschinellen Lernens (ML), um benannte Entitäten im grammatikalischen Kontext von unstrukturiertem Text (Dokumenten) zu erkennen. NER wird benötigt, um Dinge wie Personennamen und Straßenadressen zu finden, da diese weder Mustern entsprechen, noch wahrscheinlich eine Übereinstimmung mit Werten in einer definierten Liste (Lookup Set) haben. Da es sich bei vielen Entitäten wie Personennamen oder Adressen um persönlich identifizierbare Informationen (PII) handelt, verwendet IRI DarkShield NER, um solche Daten zu finden und zu maskieren. Während die Kenntnis des Namens einer Person allein vielleicht kein allzu großes Risiko darstellt, erhöht sich in Kombination mit anderen sensiblen Daten…
-
❌ Data Vault für Data Warehouse ❌ Datenmigration von RDB-Datenbankmodell in eine Data Vault 2.0 Architektur – der hybride Ansatz ❗
End-to-End Datenmanagement: Die IRI Workbench IDE enthält einen Data Vault Generator Assistenten, der den Benutzern der IRI Voracity Plattform hilft, ein relationales Datenbankmodell in eine Data Vault 2.0 (DV) Architektur zu migrieren. Der Assistent hat drei Ausgabeoptionen, die von den Bedürfnissen des Benutzers abhängen. Alle Optionen erstellen das Entity Relationship Diagram (ERD) für die Ausgaben. Die erste Option erzeugt nur die vollständige DDL und ERD. Die zweite Option erstellt eine DDL für Tabellen, die noch nicht existieren, und erstellt außerdem Jobskripte zum Laden der Daten aus den Quelltabellen in die neuen Zieltabellen. Die dritte Option erstellt eine DDL für Tabellen, die nicht existieren, und lädt die neuen Tabellen mit zufällig…
-
❌ Datenmanagement seit 1978 ❌ Zum siebten Mal in Folge vom DBTA-Magazin zu den 100 wichtigsten Unternehmen gelistet ❗
Big Data Wrangling und datenzentrierter Datenschutz: Innovative Routines International (IRI) wurde 1978 gegründet, um Sortier- und Berichtsfunktionen im Großrechnerformat auf Abteilungs- und Desktop-Computer zu bringen. Heute können Sie die jahrzehntelangen Fortschritte von IRI bei der Hochgeschwindigkeitsdatenbewegung und -manipulation in ergonomischen Softwareprodukten nutzen – oder in einer einzigen Plattform, die Folgendes kombiniert: Data Discovery – Klassifizierung, Diagrammerstellung, Profilerstellung und Suche in strukturierten, halbstrukturierten und unstrukturierten Datenquellen, vor Ort oder in der Cloud Datenintegration – individuell optimierte, aber konsolidierte E-, T- und L-Operationen in einem Durchgang sowie CDC, Slowly Changing Dimensions und Möglichkeiten zur Beschleunigung oder zum Verlassen jeder bestehenden ETL-Plattform Datenmigration – Konvertierung von Datentypen, Dateiformaten und Datenbankplattformen sowie inkrementelle oder…
