Data Services ermöglicht es Datenbürgern, Daten aus dem gesamten Datenbestand, die für BI-Zwecke verwendet werden können, effizient zu nutzen. Dies geschieht durch die Bereitstellung eines integrierten Satzes von Werkzeugen für die Erfassung, Umwandlung und schließlich Bereitstellung dieser Daten.
In dieser Release ist IFS Data Services eine Kombination der folgenden Hauptdienste:
Dies sind Dienste mit mehreren Mandanten. Die wichtigsten IFS Cloud Web-Funktionen, die in dieser Release eingeführt wurden, bieten die Möglichkeit, Daten in den Data Lake zu laden, anzureichern, zu bereinigen und über eine Data Pipeline für bestimmte Anwendungsfälle zu transformieren. Die Funktionen der Data Services sind abhängig von der IFS.ai Plattform.
1) Data Lake
Der Hauptdatenspeicher für Data Services ist ein Data Lake (ADLS Gen 2). Dieser Data Lake enthält Daten, die auf unterschiedlichen Anforderungen basieren (auf Analysen basierende Lösungen, Dokumente für die Indizierung). Die Rohdaten werden in den Data Lake eingespeist und die Daten werden über eine Data Pipeline für bestimmte Anwendungsfälle von ESG /Copilot angereichert und transformiert.
2) Data Pump
Die Data Pump übernimmt die eigentliche Datenverschiebung und die Erzeugung von Parquet-Dateien. Sie liest die Daten aus der Oracle-Datenbank. Die erstellte Parquet-Datei wird an den Data Lake-Dienst und anschließend an den jeweiligen Data Lake gesendet.
3) Data Lake-Dienst
Der Data Lake-Dienst kann zum Hochladen oder Herunterladen der angegebenen Dateien von/zu einem Cloud-Speicher, zum Hinzufügen, Aktualisieren und Abrufen von Metadaten in einem Cloud-Speicher und zum Auflisten der Speicherhierarchie nach einem bestimmten Container und für einen bestimmten Pfad innerhalb eines Cloud-Speichers verwendet werden (derzeit wird nur der Azure Data Lake Storage unterstützt). Die Mandateninformationen werden vom Dienst ermittelt.
4) Data Pipeline-Dienst
Der Data Pipeline-Dienst dient zum Starten der Data Pipeline (Workflow), die mehrere Skripte orchestrieren kann. Die Mandateninformationen werden vom Data Pipeline-Dienst ermittelt, der den Data Lake und die Verbindungsinformationen an den Workflow weitergibt.
5) Arbeitsablauf
Data Services verwenden Arbeitsabläufe, um den Skriptverlauf zu orchestrieren.
6) Arbeitslast-Jobdefinitionen
Die Seite Arbeitslast-Jobdefinition in IFS Cloud Web kann verwendet werden, um Daten in den Data Lake zu laden und eine Data Pipeline über den Data Pipeline-Dienst zu starten. Eine Arbeitslast-Jobdefinition besteht aus Datenquellen und Workflows (Aktionen). Darüber hinaus können auch benutzerdefinierte Arbeitslast-Jobdefinitionen erstellt werden, um nur einen Satz von Datenquellen in einen Ziel-Data Lake zu laden.
Weitere in IFS Cloud Web verfügbare Funktionen sind: