Dieser Prozess umfasst die Erstellung einer Parquet-Datenquelle auf Grundlage von Informationsquellen und anderen Views sowie das Laden einer .parquet-Datei in den Azure Data Lake Gen 2-Speicherordner.
Über IFS Cloud Web können Parquet-Datenquellen erstellt und gespeichert werden. Auswahl der Quellherkunft und des Ladetyps, bei benötigten Spalten kann dies je nach Anforderung erfolgen.
Sobald die Parquet-Datenquelle erstellt wurde, kann sie in ein Data Lake-Ziel geladen werden (selbstgehosteter Data Lake, IFS.ai Platform Data Lake). Beim Laden werden die Daten aus Oracle in den ADLSG2 übertragen, indem in den festgelegten Ordnern *.parquet-Dateien erstellt werden. Ladevorgänge können über ein Analysemodell, eine Arbeitslast-Jobdefinition oder aufgrund eines expliziten Triggers zum Laden einer Parkettdatenquelle ausgelöst werden. Das spezifische Ziel kann bei der Erstellung einer neuen Datenquelle definiert werden. Andernfalls wird sie je nach Fall des Triggers bestimmt.
Bei der Erstellung der Quelle kann der Ladetyp ausgewählt werden, und während des Aktualisierungsprozesses der Parquet-Datenquelle werden .parquet-Dateien auf Grundlage des angegebenen Ladetyps erstellt.
Vorhandene Parquet-Datenquelle bearbeiten:
Sobald die Parquet-Datenquelle geladen ist, gibt es eine Option zum Bearbeiten der Parquet-Datenquellen.
Sobald die Bearbeitung abgeschlossen ist, muss ein explizites Laden über IFS Cloud Web durchgeführt werden, um die Änderungen in ADLS Gen 2 widerzuspiegeln.
Parquet-Datenquelle importieren/exportieren:
Geladene Parquet-Datenquellen können aus einer Umgebung exportiert und in eine andere Umgebung importiert werden (aus DEV, UAT/PROD).