-
❌ TDM ❌ Eine funktionierende und bezahlbare Testdatenmanagement-Strategie für genügend realistische Testdaten ❗
Testdaten-Management: Wie Ihnen jeder, der mit den Herausforderungen von "healthcare.gov" vertraut ist, bestätigen kann, erfordert die Entwicklung komplexer Anwendungen einen angemessenen Zeitraum für formale Tests und umfassende Testdaten. Je besser und umfangreicher Ihre Testdaten sind, desto zuverlässiger können Ihre neuen Lösungen und Abläufe sein. Ziel des Testdatenmanagements (TDM) ist es, die Erzeugung von Testdaten zu systematisieren und deren Qualität, Sicherheit und Nutzen zu verbessern. TDM ist zu einem IT-Imperativ geworden. Laut dem InfoSys-Whitepaper "Test Data Management, Enabling Reliable Testing through Realistic Test Data: "Testteams müssen nicht nur exakte Testmethodiken befolgen, sondern auch die Genauigkeit der Testdaten sicherstellen. Sie müssen auch sicherstellen, dass die Tests die Produktionssituationen korrekt widerspiegeln, sowohl funktional…
-
❌ ETL vs. ELT ❌ Die Prozesse der Datenintegration und des Data Staging bzw. der Datenaufbereitung effizienter gestalten❗
Data-Warehouse-Architekten (DWA) haben seit ihren Anfängen die Aufgabe, ein Data-Warehouse mit unterschiedlich beschafften und formatierten Daten zu erstellen und zu befüllen. Aufgrund des drastischen Anstiegs der Datenmengen stehen dieselben DWAs vor der Herausforderung, ihre Datenintegrations– und Staging-Vorgänge effizienter zu gestalten. Die Frage, ob die Datentransformation innerhalb oder außerhalb der Zieldatenbank stattfindet, ist aufgrund der damit verbundenen Leistungs-, Komfort- und finanziellen Auswirkungen zu einer kritischen Frage geworden. Bei ETL-Vorgängen (Extrahieren, Transformieren, Laden) werden Daten aus verschiedenen Quellen extrahiert, separat transformiert und in eine DW-Datenbank und möglicherweise andere Ziele geladen. Bei ELT werden die Extrakte in eine einzige Staging-Datenbank eingespeist, die auch die Umwandlungen übernimmt. ETL ist nach wie vor weit verbreitet,…
-
❌ Schutz von/in Dark Data ❌ Gezielte Datenmaskierung von Namen in unstrukturierten Quellen wie PDF, MS Office-Dokumenten, Bildern oder Textdateien ❗
Tensorflow- und PyTorch-NER-Modelle: Die Erkennung von benannten Entitäten (Named Entity Recognition, NER) ist eine Art des maschinellen Lernens (ML), um benannte Entitäten im grammatikalischen Kontext von unstrukturiertem Text (Dokumenten) zu erkennen. NER wird benötigt, um Dinge wie Personennamen und Straßenadressen zu finden, da diese weder Mustern entsprechen, noch wahrscheinlich eine Übereinstimmung mit Werten in einer definierten Liste (Lookup Set) haben. Da es sich bei vielen Entitäten wie Personennamen oder Adressen um persönlich identifizierbare Informationen (PII) handelt, verwendet IRI DarkShield NER, um solche Daten zu finden und zu maskieren. Während die Kenntnis des Namens einer Person allein vielleicht kein allzu großes Risiko darstellt, erhöht sich in Kombination mit anderen sensiblen Daten…
-
❌ Data Vault für Data Warehouse ❌ Datenmigration von RDB-Datenbankmodell in eine Data Vault 2.0 Architektur – der hybride Ansatz ❗
End-to-End Datenmanagement: Die IRI Workbench IDE enthält einen Data Vault Generator Assistenten, der den Benutzern der IRI Voracity Plattform hilft, ein relationales Datenbankmodell in eine Data Vault 2.0 (DV) Architektur zu migrieren. Der Assistent hat drei Ausgabeoptionen, die von den Bedürfnissen des Benutzers abhängen. Alle Optionen erstellen das Entity Relationship Diagram (ERD) für die Ausgaben. Die erste Option erzeugt nur die vollständige DDL und ERD. Die zweite Option erstellt eine DDL für Tabellen, die noch nicht existieren, und erstellt außerdem Jobskripte zum Laden der Daten aus den Quelltabellen in die neuen Zieltabellen. Die dritte Option erstellt eine DDL für Tabellen, die nicht existieren, und lädt die neuen Tabellen mit zufällig…
-
❌ Datenmanagement seit 1978 ❌ Zum siebten Mal in Folge vom DBTA-Magazin zu den 100 wichtigsten Unternehmen gelistet ❗
Big Data Wrangling und datenzentrierter Datenschutz: Innovative Routines International (IRI) wurde 1978 gegründet, um Sortier- und Berichtsfunktionen im Großrechnerformat auf Abteilungs- und Desktop-Computer zu bringen. Heute können Sie die jahrzehntelangen Fortschritte von IRI bei der Hochgeschwindigkeitsdatenbewegung und -manipulation in ergonomischen Softwareprodukten nutzen – oder in einer einzigen Plattform, die Folgendes kombiniert: Data Discovery – Klassifizierung, Diagrammerstellung, Profilerstellung und Suche in strukturierten, halbstrukturierten und unstrukturierten Datenquellen, vor Ort oder in der Cloud Datenintegration – individuell optimierte, aber konsolidierte E-, T- und L-Operationen in einem Durchgang sowie CDC, Slowly Changing Dimensions und Möglichkeiten zur Beschleunigung oder zum Verlassen jeder bestehenden ETL-Plattform Datenmigration – Konvertierung von Datentypen, Dateiformaten und Datenbankplattformen sowie inkrementelle oder…
-
❌ Testdatenmanagement ❌ Schnell große Mengen an intelligenten Testdaten für sichere DevOps generieren ❗
Alle Testdaten, die Sie benötigen: IRI RowGen ist eine überlegene Standalone-Lösungssoftware für die Erstellung und Verwaltung von Multi-Target-Testdaten und eine integrierte Komponente der IRI Voracity Datenmanagement-Plattform. Die Kernkompetenzen von RowGen sind Geschwindigkeit im Volumen, Einhaltung des Datenschutzrechts, funktionale Vielseitigkeit und Realitätsnähe der Testdaten. IRI RowGen ist das einzige Tool, das für große, strukturierte und semi-strukturierte Datenumgebungen mit mehreren Zielen konzipiert ist, die sichere und realistische Testdaten erfordern. IRI RowGen erzeugt riesige Testdatenmengen für Datenbanken, BI- und DW-ETL/ELT-Tools und benutzerdefinierte Berichtsformate. Das einfache Batch-Ausführungsparadigma von IRI RowGen ist datenbank- und plattformunabhängig und eignet sich daher ideal für die Anpassung und Automatisierung der Testdatengenerierung über Anwendungsfälle und Betriebssysteme hinweg sowie für das…
-
❌ Dark Data Schutz ❌ Datenschutz von persönlich identifizierbaren Informationen in Excel, Offline Outlook und in anderen unstrukturieren Daten ❗
Schneller und sicherer Datenschutz: IRI DarkShield ist ein Datenmaskierungswerkzeug zum Auffinden und De-Identifizieren sensibler Daten in semi- und unstrukturierten Dateien und Datenbanken, wie HL7 und X12, PDF und Word, Excel und PowerPoint sowie in Bilddateien (einschließlich eingebrannter PHI in DICOM-Formaten). DarkShield ist eines der drei zentralen Datenmaskierungsprodukte der IRI Data Protector Suite, die grafische Datenklassifizierungs-, Such- und Maskierungsjob-Designmodelle in der IRI Workbench IDE, die auf Eclipse basiert, nutzen können. Mit IRI FieldShield können Sie die Schlüsselidentifikatoren (und die Quasi-Identifikatoren) in Datenbankspalten und in Feldern in strukturierten und JSON-Dateien leicht klassifizieren, finden und entfernen oder auf andere Weise de-identifizieren. Mit IRI CellShield können Sie dasselbe in Microsoft Excel und neueren Tabellenkalkulationen…
-
❌ Test Data in Excel ❌ Ordnungsgemäß formatierte, bereichsbezogene und nach Häufigkeit verteilte Testdaten in Microsoft Excel erzeugen❗
SortCL-kompatible Excel-Datenverarbeitungsbeispiele: Dieser Artikel ist eine Fortsetzung des vorangegangenen Artikels, in dem die IRI-Unterstützung für XLS- und XLSX-Dateiformate im SortCL-Programm vorgestellt wurde, das zum Verschieben und Bearbeiten von Tabellenkalkulationsdaten in der IRI Voracity-Datenmanagement-Plattform (ETL, Datenqualität usw.) und den darin enthaltenen Fit-for-Purpose-Produkten verwendet wird: IRI CoSort, NextForm, FieldShield und RowGen. Diese Jobbeispiele zeigen, was diese Metadaten-kompatiblen Anwendungen mit Daten direkt in/aus Excel-Tabellen im XLS- oder XLSX-Format alles machen können. Synthese von Testdaten: Dieses Skript demonstriert die Verwendung eines IRI RowGen-Auftragsskripts zum Generieren einer kleinen Menge zufälliger Testdaten in einer XLSX-Datei und einer XLS-Datei mit einer Kopfzeile. Synthese von Zufallsdaten mit verschlüsselten Feldern: Dieser hybride RowGen-FieldSheld-Job demonstriert die zufällige Auswahl von Namen…
-
❌ IBM Mainframe z/OS ❌ Beschleunigung von Transaktionsverarbeitungs- (TPE) und Batch- (BPE) Sortieroperationen von VSAM- und sequentiellen Daten ❗
Mainframe CICS Sort Rehosting: JCL Sorts zu CoSort in UniKix BPE und TPE migrieren! Herausforderungen: Wenn Sie vom Mainframe zu "offenen Systemen" wechseln, arbeiten Sie möglicherweise mit dem Mainframe Rehosting Solutions Team von NTT DATA (früher Dell, Clerity, Sun, Blue Phoenix und UniKix) zusammen. Eine der Komponenten Ihrer Migration wird wahrscheinlich das Sortierpaket sein. Sie benötigen eine Lösung für die Konvertierung von JCL-Sortierschritten, die Verarbeitung von VSAM-Dateien, die damit verbundene Datentransformation und Berichtsdienste unter Unix oder Windows. Möglicherweise suchen Sie auch nach einer Möglichkeit, eine Vielzahl anderer Datenmanagement- und Schutzvorgänge gleichzeitig zu modernisieren, und möchten lieber mit einem einzigen, bewährten und erschwinglichen Anbieter zusammenarbeiten und gleichzeitig die Lernkurve und die…
-
❌ SAP Sybase ❌ Beschleunigung der Datentransformation und sicherer Datenschutz von Sybase IQ und ASE-Tabellen ❗
Herausforderungen: Als SAP Sybase IQ oder ASE DBA können Sie mit einem oder mehreren dieser Performance- oder Schutzprobleme konfrontiert sein: Entladen und Laden von großen Sybase-Tabellen Langsame Hilfsoperationen (z.B. Reorgs) oder Abfragen Ungeschützte personenbezogene Daten (PII) Lästige Datenbankmigration oder -replikation Generierung von oder Zugriff auf Testdatensätze Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Spezielle Tools zur Datenmaskierung und zum Testdatenmanagement sind teuer und zu schwer zu bedienen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange. Beschleunigung der Sybase-Entladung: IRI FACT (Fast Extract), um Transaktionstabellen parallel zu Flat Files auszugeben. FACT unterstützt Sybase IQ und ASE,…
