-
❌ IBM DB2 Datenbank ❌ Schnellere Methode zum Entladen, Laden, Reorg oder zur Migration/Replikation der Tabellen❗
Herausforderungen: Als DBA, der die DB2 Universal Database (UDB) unter Linux, Unix oder Windows (LUW) – oder DB2 auf der iSeries oder einem Mainframe – verwendet, werden Sie irgendwann Probleme haben: Große Tabellenentladung und Beladegeschwindigkeiten Komplexe Abfrage- oder Reorg-Performance Datenbankmigration oder -replikation "Change data capture" (CDC) und "slowly changing dimensions" (SCD) Persönlich identifizierbare Informationen (PII) Sichere, relationale Testdatenerstellung SQL-Prozeduren können schwer zu kodieren sein und auch nach der Optimierung zu lange dauern. Online-Registrierungen sind zu langsam und Offline-Registrierungen sind schwer einzurichten. Schnelle Entladung: Die IRI FACT (Fast Extract) Software beschleunigt das Entladen von UDBs. FACT verwendet native SQL-Syntax und DB2-Treiber, um Tabellendaten parallel in Flat-Files zu übertragen. Mit FACT können…
-
❌ ELT vs. ETL ❌ Die Unterschiede sowie Vor- und Nachteile der Data-Warehouse-Operationen ETL und ELT ❗
. ETL vs. ELT: Unsere Zusammenfassung, Sie urteilen! Vollständige Offenlegung: Da dieser Artikel von einem ETL-zentrierten Unternehmen verfasst wurde, das sich stark auf die Manipulation großer Datenmengen außerhalb von Datenbanken spezialisiert hat, wird das Folgende vielen nicht objektiv erscheinen. Nichtsdestotrotz soll er dennoch Denkanstöße geben und eröffnet das Wort zur Diskussion. Seit ihren Anfängen wurden Data-Warehouse-Architekten (DWA) mit der Aufgabe betraut, ein Data-Warehouse mit Daten unterschiedlicher Herkunft und Formatierung zu erstellen und zu bestücken. Aufgrund des dramatischen Wachstums des Datenvolumens stehen dieselben DWAs vor der Herausforderung, ihre Datenintegrations- und Staging-Operationen effizienter zu implementieren. Die Frage, ob die Datentransformation innerhalb oder außerhalb der Zieldatenbank erfolgt, ist wegen der damit verbundenen Leistung,…
-
❌ End-to-End Datenmanagement ❌ Datenmanagement beginnt mit der Datenentdeckung❗
Datenentdeckung in Eclipse: IRI Voracity® bietet innerhalb einer einzigen Konsole, die auf Eclipse™ aufgebaut ist, mehrere Tools zur Datenerkennung und Definition von Metadaten für die Suche und Organisation Ihrer Datenquellen auf lokalen und entfernten Systemen! Datenklassifizierung: Definieren Sie unternehmensweite Datenklassenbibliotheken, durchsuchen Sie automatisch Ihre Quellen und katalogisieren Sie die darin enthaltenen Daten, und wenden Sie dann Transformations- und Schutzregeln an, die Sie Ihren Klassen zugeordnet haben. Details hier. Metadatenermittlung: Verbinden Sie sich mit strukturierten und semistrukturierten Dateien und relationalen Datenbanken. Definieren oder redefinieren Sie Spaltennamen, Offsets und Datentypen neu, damit Sie die Metadaten für Ihre Datenquellen in zentralen Datendefinitionsdateien (DDFs) speichern, gemeinsam nutzen und wiederverwenden können, die mit jeder IRI-Softwareanwendung…
-
❌ AWS S3-Bucket ❌ PII-Datenmaskierung in S3-Dateien für Schutz vor Würmern im undichten S3-Eimer (Cloud und LAN) ❗
Was ist DarkShield? IRI DarkShield ist ein Datenmaskierungswerkzeug zum Auffinden und De-Identifizieren von persönlich identifizierbaren Informationen (PII) und anderen sensiblen Daten in semistrukturierten und unstrukturierten Dateien und Datenbanken. Als eines der drei Datenmaskierungsprodukte in der IRI Suite für Datensicherheit wurde DarkShield entwickelt, um die Lücke zwischen der Maskierung strukturierter und unstrukturierter Daten zu überbrücken und es Benutzern zu ermöglichen, Daten in konsistenter Weise über verschiedene Silos und Formate hinweg zu sichern. Wie funktioniert DarkShield? Im Kern behandelt DarkShield alle Daten unabhängig von ihrem physischen Speicherort als Dokumente. Mit einer Minimalkonfiguration für den Zugriff auf verschiedene Datensilos kann DarkShield dann die Inhaltstypen dieser Dokumente mithilfe einer Vielzahl von Heuristiken ermitteln und die…
-
❌ MySQL/MariaDB Datenverschlüsselung ❌ Sensible Daten statisch verschlüsseln (SDM) und dynamisch entschlüsseln (DDM) ❗
Datenzentrierter Schutz: Gewöhnlich wird die Maskierung statischer Daten für Produktionsdaten im Ruhezustand durchgeführt, damit sie sicher gespeichert werden, oder wenn sie zu Test- oder Entwicklungszwecken in Nicht-Produktionsumgebungen repliziert werden. Die dynamische Datenmaskierung (Dynamic Data Masking, DDM) wird bei Abfragen auf Daten in Produktionstabellen durchgeführt, so dass diejenigen die nicht berechtigt sind, die ursprünglichen Spaltenwerte zu sehen, stattdessen zensierte Ansichten der Werte in ihrer Anwendung sehen. Es ist bekannt, dass IRI FieldShield ein statisches Datenmaskierungsprodukt ist. Es kann aber auch dazu verwendet werden, Daten in Datenbanken und Flat-Files auf dynamischere Weise zu maskieren und zu demaskieren. Wir haben Anwendungsfälle erlebt, in denen entweder eines oder beides erforderlich ist, wenn die gefährdeten Daten in Ruhe (statisch) oder in Bewegung (dynamisch) sind…
-
❌ PII + PHI in Excel ❌ Sensible Daten in jeder XLS/X-Datei im Netzwerk scannen + automatisch in Excel maskieren ❗
CellShield für Excel PII Entdeckung, Reporting, Schutz und Auditierung: IRI CellShield ist eine einzigartige und bahnbrechende Software von Innovative Routines International (IRI), die für Unternehmen, gemeinnützige Organisationen und Regierungsbehörden entwickelt wurde, die sensible Daten in mehreren Excel®-Tabellen speichern. IRI CellShield EE hilft Ihnen, Ihre Änderungen an den sensiblen Daten in jeder Tabelle in Ihrem Netzwerk AUTOMATISCH zu klassifizieren, zu suchen, auszuwählen, zu sichern und zu überprüfen. Warum ist das notwendig? Wenn Laptops in unbefugte Hände gelangen oder Computernetzwerke durchbrochen werden, sind in Excel-Dateien gespeicherte personenbezogene Daten (PII) von Missbrauch und Verletzung eines Datenschutzgesetzes bedroht. IRI CellShield EE verhindert und beseitigt diese Verstöße, indem es diese Daten in jeder angeschlossenen Kalkulationstabelle…
-
❌DB-Testdaten❌ Strukturell + referenziell korrekte synthetische Testdaten für Datenbank in einem einzigen Vorgang erzeugen❗
Milliarden Zeilen in wenigen Minuten – statt Stunden! IRI RowGen-Benutzer können strukturell und referenziell korrekte synthetische Testdaten für eine ganze Datenbank in einem einzigen Vorgang erzeugen. Die Testdaten spiegeln Produktionsmerkmale (wie Wertebereiche und Frequenzen) wider, die normalerweise bei Datenbank- oder ETL-Operationen auftreten, erfordern jedoch keinen Zugriff auf oder die Maskierung von Echtdaten. Endbenutzer-Jobassistenten für RowGen in der IRI-Workbench-GUI (gebaut auf Eclipse™) helfen bei der Generierung von Testdaten. Einer der nützlichsten ist der "New RowGen DB Test Data Job" Wizard, der ein ganzes RowGen-Projekt aufbaut, um mehrere Tabellen auf einmal mit vor-sortierten Schlüsselwerten und der Möglichkeit zur Anpassung automatisch zu füllen. Obwohl er sich auf vorhandene Metadaten für jede Testtabelle stützt,…
-
❌ IBM Informix ❌ Daten von/in Informix Dynamic Server (IDS) migrieren, integrieren, bereinigen und/oder maskieren ❗
Alles in einer Konsole: IRI Workbench™ ist die kostenlose grafische Benutzeroberfläche (GUI) und integrierte Entwicklungsumgebung (IDE) für alle IRI-Datenmanagement- und Schutzsoftwareprodukte und die Voracity-Plattform, die sie beinhaltet. Die unter Windows, MacOS und Linux verfügbare Workbench steuert Aufträge über bewährte IRI CoSort und Hadoop Engines und nutzt dabei alles, was Eclipse™ bietet. Dieser Artikel dokumentiert die Verbindungen, die in IRI Workbench- und 64-bit CoSort-kompatiblen Runtime-Umgebungen erforderlich sind, um mit 64-bit Informix Dynamic Server (IDS) v12 Tabellenquellen und -zielen zu arbeiten. Wie Sie sehen werden, laufen diese Schritte auf die gleiche Weise ab wie andere RDBMS-Verbindungen, die wir in diesem Blog dokumentiert haben, einschließlich: MS SQL, Oracle, PostgreSQL, Salesforce, Snowflake und Teradata. In jedem Fall ist eine JDBC-Verbindung erforderlich, um das visuelle Browsen und den Metadatenaustausch mit der Datenquellen-Explorer-Ansicht und den…
-
❌ IBM z/OS Mainframe ❌ Verarbeitung von Transaktionsverarbeitungs- (TPE) + Batch- (BPE) Sortieroperationen von VSAM- und sequentiellen Daten ❗
Mainframe CICS Sort Rehosting: JCL Sorts zu CoSort in UniKix BPE und TPE migrieren! Herausforderungen: Wenn Sie vom Mainframe zu "offenen Systemen" wechseln, arbeiten Sie möglicherweise mit dem Mainframe Rehosting Solutions Team von NTT DATA (früher Dell, Clerity, Sun, Blue Phoenix und UniKix) zusammen. Eine der Komponenten Ihrer Migration wird wahrscheinlich das Sortierpaket sein. Sie benötigen eine Lösung für die Konvertierung von JCL-Sortierschritten, die Verarbeitung von VSAM-Dateien, die damit verbundene Datentransformation und Berichtsdienste unter Unix oder Windows. Möglicherweise suchen Sie auch nach einer Möglichkeit, eine Vielzahl anderer Datenmanagement- und Schutzvorgänge gleichzeitig zu modernisieren, und möchten lieber mit einem einzigen, bewährten und erschwinglichen Anbieter zusammenarbeiten und gleichzeitig die Lernkurve und die…
-
❌ Real-Time Datenmaskierung ❌ Datenbankdaten maskieren, während sie in Echtzeit produziert werden ❗
Echtzeit-Datenmaskierung mit Triggern: In früheren Artikeln im IRI-Blog wurde die statische Datenmaskierung neuer Datenbankdaten mit Hilfe der /INCLUDE-Logik oder der /QUERY-Syntax in geplanten IRI FieldShield-Job-Skripten beschrieben, die Änderungen der Spaltenwerte erforderten, um Aktualisierungen zu erkennen. Dieser Artikel beschreibt einen passiveren, aber integrierten Weg zum Auslösen von FieldShield-Maskierungsfunktionen auf der Basis von SQL-Ereignissen, d.h. zum Maskieren von Daten wie sie in Echtzeit erzeugt werden. Genauer gesagt dokumentiert dieser Artikel die Installation und Verwendung von gespeicherten Prozeduren, die FieldShield-Datenmaskierungsbibliotheksfunktionen aufrufen, um PII in Oracle 12c unter Windows zu maskieren. Der Artikel kann auch als "Prozedurenmodell" für andere Datenbanken und Betriebssysteme dienen. Hier finden Sie den detailierten Blog-Artikel unseres Partners IRI mit den…
