-
❌ Tuning von VLDB ❌ Datenerfassung beschleunigen für bspw. Data Warehouse, schnellere Datenintegration und Datenmigration❗
Datenerfassung beschleunigen: Unloads 7x schneller! IRI FACT™ ist ein Dienstprogramm zum parallelen Entladen von sehr großen Datenbanktabellen (VLDB). FACT verwendet einfache Job-Skripte (unterstützt in einer vertrauten Eclipse-GUI), um schnell portable Flat-Files zu erstellen. Die Geschwindigkeit von FACT basiert auf nativen Verbindungsprotokollen und einer proprietären Split-Abfragelogik, die Milliarden von Zeilen in Minuten entladen. IRI FACT verwendet native Datenbank-APIs und parallele Verarbeitung, um Tabellen schneller in Flat-Fiels umzuwandeln als jedes andere Entladetool oder -verfahren. FACT skaliert linear im Volumen, so dass das Entladen einer Zwei-Milliarden-Zeilentabelle nicht mehr als doppelt so lange dauern sollte wie das Entladen einer Ein-Milliarden-Zeilentabelle. Die Kombination der leistungsstarken Extraktion von FACT mit den leistungsstarken, konsolidierten Datentransformationen und vorsortierten…
-
❌ Talend Data Fabric ❌ Schnellere Datenintegration mit Datenschutz via Datenmaskierung und synthetische Testdaten für TDM ❗
Auch nach der Beratung und Abstimmung können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versionsupgrade von Talend! Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen. Aus Sicherheitssicht bietet Talend möglicherweise nicht die Funktionen zum Erkennen, Klassifizieren oder Maskieren von Daten oder zum Testen von Datenfunktionen, die Datenverwalter und Anwendungsentwickler benötigen: Transformationen beschleunigen: Sort-Beschleunigung, Aggregation und Zusammenführen von Talend ETL-Strömen mit einem tSystem-Aufruf an die Programme CoSort Sort Sort Control Language (SortCL). Führen…
-
❌ SAP Sybase Datenbank ❌ 12-fache ETL-Beschleunigung und sicherer Datenschutz von Sybase IQ und ASE-Tabellen❗
Als SAP Sybase IQ oder ASE DBA können Sie mit einem oder mehreren dieser Performance- oder Schutzprobleme konfrontiert sein: Entladen und Laden von großen Sybase-Tabellen Langsame Hilfsoperationen (z.B. Reorgs) oder Abfragen Ungeschützte personenbezogene Daten (PII) Lästige Datenbankmigration oder -replikation Generierung von oder Zugriff auf Testdatensätze Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Spezielle Tools zur Datenmaskierung und zum Testdatenmanagement sind teuer und zu schwer zu bedienen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange. Beschleunigung der Sybase-Entladung: IRI FACT (Fast Extract), um Transaktionstabellen parallel zu Flat Files auszugeben. FACT unterstützt Sybase IQ und ASE, OCS…
-
❌ Tuning von Datadog ❌ Beschleunigung von Datenintegration und Datenmigration, sowie rechtskonformer Datenschutz in/aus Datadog❗
Was ist Datadog? Datadog ist eine Web-Anwendung zur Überwachung von Datenfeeds (Dateneinspeisung), zur Analyse von Trends, zur Erstellung analytischer Dashboard-Anzeigen und zum Senden von Warnmeldungen. Dieser Artikel ist der erste in einer 4-teiligen Serie über die Fütterung der Datadog Cloud-Analyseplattform mit verschiedenen Arten von Daten aus IRI Voracity-Operationen. In Fällen, in denen eine große Datenmenge offline vorbereitet werden muss, bevor die Daten ausgegeben werden und die Daten auf einer Infrastruktur außerhalb von Datadog verarbeitet werden können, kann Voracity für ein hochleistungsfähiges Daten-Wrangling sorgen. Die Serie konzentriert sich auf den Wert von Datadog und Voracity zusammen: Dieser Artikel beschreibt die Einspeisung verschiedener Daten aus IRI Voracity in die Datadog Cloud-Analyseplattform. Der…
-
❌ Snowflake ❌ Agile Datenintegration und Datenbereinigung mit optional verschlüsselter Datenbereitstellung ❗
Snowflake ETL und PII-Maskierung: Schnelles, kostengünstiges Datenmapping & Verwaltung! Möglicherweise sind Sie mit diesen zeitaufwendigen Problemen bei der Arbeit mit Snowflake konfrontiert: Datensuche, -profilierung und/oder -klassifizierung Integration oder Daten-Wrangling für DW/BI-Ops Datenbewegung/Migration zu/von Tabellen Transformieren oder Laden großer Tabellen Datenerfassung oder -replikation ändern Clustering oder Abfrage der Performance Generierung intelligenter und sicherer Testdaten Maskierung sensibler Daten Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden und erfordern eine Optimierung und dauern dann immer noch zu lange! Daten in Ordnung halten: IRI CoSort für die Vorsotierung von Flat-Files für Bulk-Ladungen und Inserts. Das entfernt den Overhead dieser Arbeit von Snowflake,…
-
❌ Tuning von Splunk ❌ Schnelleres Big Data Wrangling vor der Indizierung in Splunk Phantom für höhere Leistung und GDPR-konformen Datenschutz ❗
Splunk-App für Big Data Wrangling & Datenschutz: Die beste Möglichkeit für die Datenerkennung, -integration, -migration, -verwaltung und -analyse von Splunk Enterprise oder Splunk Enterprise Security! Der Vorteil ist ein nahtloser, gleichzeitiger operativer Daten-zu-Informationsfluss von der schnellen Vorbereitung und dem Schutz großer und kleiner Datenquellen durch Voracity bis hin zu den leistungsstarken Visualisierungen und dem adaptiven Response-Framework von Splunk. In einem einzigen Durchgang durch mehrere Eingaben können Voracity-Jobs Daten für Analysen transformieren, filtern, bereinigen, neu formatieren und in ein Stadium (Wrangling) bringen und die darin enthaltenen PII für Compliance- und Datenverletzungen zu de-identifizieren! Die Anwendung nimmt Daten, die von IRI-Jobs erzeugt werden die in den 4GL (*.cl)-Job-Skripten von "SortCL"-kompatiblen Produkten in…
-
❌ Vertica Datenbank ❌ Beschleunigung der Datenintegration und Datenmigration mit Datenschutz-Features für Vertica Database ❗
Schnellstes Big Data Management: Wie andere Artikel in unserem Blog über die Verbindung und Konfiguration von relationalen Datenbanken mit der IRI Voracity Datenmanagement-Plattform beschreibt dieser Artikel detailliert, wie man gezielt Vertica-Quellen erreicht. Die IRI Voracity Datenmanagement-Plattform besteht aus ihren Ökosystemprodukten: CoSort für schnellste Big Data Manipulation seit 1978 NextForm zur Datenmigration und -formatierung FieldShield zur Datenmaskierung von sensiblen Daten in semi- un strukturierten Quellen DarkShield zur Datenmaskierung von sensiblen Daten in semi- und unstrukturierten Quellen RowGen zur synthetischen Testdatengenerierung Dieser Artikel beschreibt detailliert, wie man Vertica-Quellen erreicht. Er beschreibt näher die ODBC- und JDBC-Verbindungen und Konfigurationen, die erforderlich sind, um Vertica mit der SortCL-Engine und dem IRI Workbench Job Design…
-
❌ Microsoft SQL Server ❌ 10x schnelleres ETL, BI-Datenaufbereitung und PII finden/schützen für Datenschutz und sicheres TDM ❗
Möglicherweise haben Sie eines oder mehrere dieser zeitaufwendigen Probleme bei der Arbeit mit MS SQL Server-Datenbanken vor Ort oder in der Azure-Cloud: Datenermittlung: Profilerstellung, Klassifizierung, ERDs Be- und Entladen großer Tabellen Routinemäßige Versorgungsoperationen (Reorgs) Komplexe Abfragen oder PowerBI-Performance Migrations- oder Replikationsarbeiten Schlechte Datenqualität oder Einheitlichkeit Zugriffs- und Aktivitätskontrolle, Überwachung und Audit (Firewall) Maskierung von PII in Tabellen statisch oder in Anwendungen wie MS Dynamics dynamisch Generierung intelligenter und sicherer Testdaten für Prototyping, DevOps, Demos, etc. Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange. Einfache und kostengünstige IRI-Software löst…
-
❌ Pentaho Data Integration ❌ Enorme ETL-Beschleunigung von PDI (ehemals Kettle) mit End-to-End Datenschutz ❗
Pentaho Data Integration ist zwar ein leistungsfähiges Werkzeug zur Aufbereitung und Integration von Daten, weist aber einige (Sicherheits-)Mängel auf! 1. Langsame Transformierungen: Native Sorts usw. laufen möglicherweise nicht schnell genug und nicht bei großer Menge. 2. Eingeschränkte De-ID-Funktionen: Daten, die durch Kettle fließen, können nicht maskiert oder verschlüsselt werden. 3. Begrenzte Testdaten: Kein Prototyp von ETL-Aufträgen ohne Verwendung von Produktionsdaten möglich. Dieser Artikel ist der erste in einer 3-teiligen Serie über die Verwendung von IRI-Produkten zur Erweiterung der Funktionalität und Verbesserung der Performance in Pentaho-Systemen. Wir zeigen zunächst, wie Sie die Sortierleistung verbessern können und stellen dann Möglichkeiten vor, Produktionsdaten zu maskieren und Testdaten in der Pentaho Data Integration-Umgebung zu…
-
❌ Schutz vor Credential Stuffing ❌ Datenleck verhindern mit Verschlüsselung von Klartext in NoSQL, Elasticsearch oder AWS S3-Buckets ❗
Minimieren Sie das Risiko: Finden und maskieren Sie PII gezielt dort, wo sie auch stecken! Ungesicherte Daten können den Ruf Ihres Unternehmens schädigen und Millionen von Bußgeldern verursachen. Die preisgekrönte datenzentrische ("Startpunkt") Sicherheitssoftware von IRI hat sich in einer Vielzahl von Umgebungen zur Aufhebung von Verstößen, Einhaltung des Datenschutzes und DevOps (Testdaten) wiederholt bewährt. Verwenden Sie zweckmäßige IRI-Datenschutzprodukte oder die umfassende IRI Voracity-Plattform, um sensible Daten zu finden und zu maskieren – egal in welcher Form und wo sie sich befinden – und um zu beweisen, dass Sie sie geschützt haben. IRI FieldShield: Finden, klassifizieren, maskieren und risikobehaftete PII über Legacy-Dateien, relationale und NoSQL-Datenbanken, Cloud-Anwendungen usw. mit AES-256 FPE, Hashing,…
