-
ETL vs. ELT Effizientere und umfassende Datenintegration und Data Staging bzw. Datenaufbereitung 
Wachsendes Datenmengen beherrschen: Data-Warehouse-Architekten (DWA) haben seit ihren Anfängen die Aufgabe, ein Data-Warehouse mit unterschiedlich beschafften und formatierten Daten zu erstellen und zu befüllen. Aufgrund des drastischen Anstiegs der Datenmengen stehen dieselben DWAs vor der Herausforderung, ihre Datenintegrations– und Staging-Vorgänge effizienter zu gestalten. Die Frage, ob die Datentransformation innerhalb oder außerhalb der Zieldatenbank stattfindet, ist aufgrund der damit verbundenen Leistungs-, Komfort- und finanziellen Auswirkungen zu einer kritischen Frage geworden. ETL: Bei ETL-Vorgängen (Extrahieren, Transformieren, Laden) werden Daten aus verschiedenen Quellen extrahiert, separat transformiert und in eine DW-Datenbank und möglicherweise andere Ziele geladen. Bei ELT werden die Extrakte in eine einzige Staging-Datenbank eingespeist, die auch die Umwandlungen übernimmt. ETL ist nach…
- Data Warehouse Wachsendes DHW bewältigen ohne zusätzlicher Hardware, Spark oder Hadoop
Push von Datenintegration und Datentransformation! Die meisten ETL- und ELT-Tools und Datenbankmodule können große Datenmengen nicht effizient transformieren, denn sie benötigen: eine teure Parallelverarbeitungs-Edition Entnahme von Datenbank- oder Systemressourcen von Dritten eine komplexe, schwer zu wartende Hadoop-Umgebung eine 6 oder 7-stellige Hardware-Appliance oder Server-Upgrades das Problem auf eine noch teurere Datenbank zu übertragen Es sind die großen Sortier-, Joint- und Aggregationsaufträge, die viel zu lange dauern. Auch nachfolgende Aufgaben wie das Laden, das Analysieren oder die BI-Displays leiden. Zudem werden diese E-, T- und L-Schritte typischerweise in separaten Schritten, I/O-Durchgängen, Produkten oder ständig wechselnden Cloud-Konfigurationen durchgeführt. Lösungen: IRI-Extraktions- und Transformationsprogramme wie FACT oder CoSort und die IRI Voracity Datenmanagement-Plattform können…
- VLDB Viel schnellere Datenerfassung für Datenintegration, Datenmigration und Archivierung
7x schnellere Datenerfassung: IRI FACT™ ist ein Dienstprogramm zum parallelen Entladen von sehr großen Datenbanktabellen (VLDB). FACT verwendet einfache Job-Skripte (unterstützt in einer vertrauten Eclipse-GUI), um schnell portable Flat-Files zu erstellen. Die Geschwindigkeit von FACT basiert auf nativen Verbindungsprotokollen und einer proprietären Split-Abfragelogik, die Milliarden von Zeilen in Minuten entladen. IRI FACT verwendet native Datenbank-APIs und parallele Verarbeitung, um Tabellen schneller in Flat-Fiels umzuwandeln als jedes andere Entladetool oder -verfahren. FACT skaliert linear im Volumen, so dass das Entladen einer Zwei-Milliarden-Zeilentabelle nicht mehr als doppelt so lange dauern sollte wie das Entladen einer Ein-Milliarden-Zeilentabelle. Die Kombination der leistungsstarken Extraktion von FACT mit den leistungsstarken, konsolidierten Datentransformationen und vorsortierten Bulkladungen von…
- Datenverarbeitung Die bewährte, erschwingliche und schnelle Datenmanagement-Plattform für Big Data
Seit 1978 weltweite Referenzen für Datenmanagement und Sicherheit! IRI Voracity® manipuliert und verwaltet eine riesige Bandbreite und Menge an Daten über eine einzige, auf Eclipse™ basierende Oberfläche. Nutzen Sie Voracity, um schnell und zuverlässig Daten lokal vor Ort oder in der Cloud zu entdecken, zu integrieren, zu migrieren, zu verwalten und zu analysieren und dabei alle "V"-Herausforderungen von Big Data zu bewältigen: VOLUME: Daten aus internen und öffentlichen Quellen wachsen exponentiell. Voracitys langjährig bewährte IRI CoSort-Engine führt und kombiniert Multi-Gigabyte-Transformationen in Sekundenschnelle und übertrifft damit die Geschwindigkeit herkömmlicher Sortier-, BI-, DB- und ETL-Tools um das 2-20fache. VIELSEITIGKEIT: Die Vielzahl an strukturierten und unstrukturierten Quellen übersteigt die Möglichkeiten der meisten Tools.…
- Testautomatisierung Den Testentwurf automatisieren für eine effizientere Testautomatisierung
Testautomatisierung: Automatisierung des Testentwurfs! Dies ist der erste in einer Reihe von Blog-Beiträgen, die die verschiedenen Datenmanagement-Funktionen von IRI Voracity in einer Reihe von Kontexten und Anwendungsfällen hervorheben werden. Auf höchster Ebene ist Voracity eine Datenmanagement-Plattform, die eine breite Palette von datenorientierten Funktionen bietet und auf die über die IRI Workbench zugegriffen wird, eine assistentengesteuerte Benutzeroberfläche, die durch grafische Modellierung unterstützt wird. Zum Auftakt dieser Serie beginnen wir mit einem Thema, das uns sehr am Herzen liegt: die Automatisierung des Testentwurfs. Für diejenigen unter Ihnen, die es noch nicht wissen: Die Automatisierung des Testentwurfs ist philosophisch gesehen eine Weiterentwicklung der Testautomatisierung, die den Einsatz der Automatisierung als Ganzes und während…
- Datenbankreplikation In Echtzeit Quelldatenbank(en) überwachen mit automatischer Datenreplikation in Zielsilo(s)
Was ist IRI Ripcurrent? Ripcurrent ist der Name einer von IRI entwickelten Java-Anwendung, die die eingebettete Debezium-Engine und die Streaming-Funktion des SortCL-Programms von IRI CoSort kombiniert, um in Echtzeit auf Datenbank-Änderungsereignisse zu reagieren, indem Daten an nachgelagerte Ziele repliziert werden, optional mit Transformationsregeln (z. B. PII-Maskierung), die konsequent auf der Grundlage der Klassifizierung der Daten angewendet werden. Ripcurrent lässt sich mit Debezium integrieren, um Änderungen von verschiedenen DBs zu verfolgen. Ripcurrent bündelt Debezium-Konnektoren für MySQL, SQL Server, PostgreSQL und Oracle. Debezium unterstützt MongoDB, DB2 und Vitess, aber es ist mehr Arbeit erforderlich, um Ripcurrent für diese zu unterstützen. Ripcurrent veranlasst SortCL automatisch, auf eingefügte, aktualisierte oder gelöschte Datenzeilen zu reagieren.…
- Dark Data finden Gezielter Datenschutz in unstrukturierten Daten wie Microsoft Office-Dokumenten, PDF, Bildern und Textdateien
Tensorflow- und PyTorch-NER-Modelle: Die Erkennung von benannten Entitäten (Named Entity Recognition, NER) ist eine Art des maschinellen Lernens (ML), um benannte Entitäten im grammatikalischen Kontext von unstrukturiertem Text (Dokumenten) zu erkennen. NER wird benötigt, um Dinge wie Personennamen und Straßenadressen zu finden, da diese weder Mustern entsprechen, noch wahrscheinlich eine Übereinstimmung mit Werten in einer definierten Liste (Lookup Set) haben. Da es sich bei vielen Entitäten wie Personennamen oder Adressen um persönlich identifizierbare Informationen (PII) handelt, verwendet IRI DarkShield NER, um solche Daten zu finden und zu maskieren. Während die Kenntnis des Namens einer Person allein vielleicht kein allzu großes Risiko darstellt, erhöht sich in Kombination mit anderen sensiblen Daten…
- Datenschutz in Excel Individuelle oder globale Funktionen zur Datenmaskierung in XLS- und XLSX-Dateien
Welches ist das beste Tool, um sensible Daten in Excel zu schützen? Die auch einzeln verfügbaren drei Produkte der IRI Data Protector Suite haben gemeinsame Suchmethoden (wie Muster- oder Wörterbuchabgleiche) und individuell oder global anwendbare Datenmaskierungsfunktionen (wie Verschlüsselung, Redigierung, Hashing und Pseudonymisierung). Alle drei können daher identische und potenziell austauschbare Chiffretexte erzeugen, um Determinismus und Datenintegrität zu wahren. Sie sind auch alle unterstützte Komponenten der IRI Voracity Datenmanagement-Plattform: IRI FieldShield wurde entwickelt, um strukturierte Datenbank- und Flat-File-Daten zu klassifizieren, zu suchen und zu maskieren. FieldShield verwendet das CoSort SortCL-Programm zur Datendefinition und -manipulation, um Quell- und Ziellayouts sowie alle Mapping-/Maskierungstransformationen zu definieren. SortCL verwendet 4GL-Job-Skripte, die in der Regel…
- Datensicherheit in der Cloud Reversible Datenmaskierung in semi- und unstrukturierten Dark Data Dateien in S3, GCP und Azure BLOB
IRI DarkShield ist ein Datenmaskierungswerkzeug zum Auffinden und De-Identifizieren sensibler Daten in semi- und unstrukturierten Dateien und Datenbanken. DarkShield ist eines der drei zentralen Datenmaskierungsprodukte der IRI Data Protector Suite, die grafische Datenklassifizierungs-, Such- und Maskierungsjob-Designmodelle in der IRI Workbench IDE, die auf Eclipse basiert, nutzen können. Es werden zwei leistungsfähige Remote Procedure Call (RPC) Application Programming Interface (API)-Versionen zur Verfügung gestellt: die "Base" DarkShield API und die DarkShield-Files API. Um sensible Daten in einer Vielzahl von Quellen zu finden und zu schützen, verwenden die DarkShield-APIs spezifizierte Suchabgleiche und Maskierungsregeln, die Geschäftsregeln folgen. Weitere Informationen zur Erstellung von Suchabgleichern und Maskierungsregeln finden Sie in diesem Artikel. Die DarkShield-Basis-API wird für…
- TDM Tool Vielschichtiges Testdatenmanagement-Framework für DevOps, MLOps und DataOps bereitstellen
Sicheres Testdatenmanagement: Daten, die durch Anwendungsentwicklung, maschinelles Lernen und Analysepipelines fließen, müssen mehrere Anforderungen erfüllen, die allen Bereichen gemeinsam sind, darunter: Realitätsnähe, um die Eigenschaften der Produktionsdaten und die Anforderungen der Anwendungstests widerzuspiegeln Konformität mit Geschäfts- und Datenschutzregeln sowie DB- und Analysemodellen Verfügbarkeit oder Sicherheit der Daten (je nach Sichtweise) Nachvollziehbarkeit für die Abstammung und Verantwortlichkeit Die an diesen Pipelines beteiligten Akteure verstehen diese Anforderungen aus ihrer eigenen Perspektive. IRI, auch bekannt als "The CoSort Company", bietet ein vielschichtiges Testdatenmanagement-Framework, um diese Anforderungen zu erfüllen. Die Rolle von IRI in diesem weiten Bereich begann mit der Notwendigkeit, umfangreiche, realistische Daten zu erstellen, um das Volumen und die Vielfalt der Datenumwandlungs-…
