Datentransferprozess anlegen

Datentransferprozess über Prozesskette anlegen

Sie befinden sich in der Plansicht einer Prozesskette, in die Sie einen Datentransferprozess als Prozess einbinden wollen.

Der Prozesstyp Datentransferprozess steht Ihnen in der Prozesskategorie Ladeprozess und Nachverarbeitung zur Verfügung.

1. Fügen Sie mit Drag & Drop oder Doppelklick den Prozess in die Prozesskette ein.

2. Um eine Datentransferprozess als neue Prozessvariante anzulegen, geben Sie einen technischen Namen ein und wählen Sie Anlegen.

   Sie gelangen auf das Dialogfenster zum Anlegen eines Datentransferprozesses.

3. Wählen Sie als Typ des Datentransferprozesses Standard (einplanbar) aus.

   Hinweis

   Für einen VirtualProvider als Ziel des Datentransferprozesses ist ausschließlich der Typ DTP für Direktzugriff verfügbar. Weitere Informationen finden Sie unter Datentransferprozess für Direktzugriff anlegen.

   Wenn Sie den Datentransferprozess in einer Prozesskette verwenden, können Sie für ein DataStore-Objekt als Ziel des Datentransferprozesses ausschließlich die Standard-Datenübertragung verwenden. Weitere Informationen über Datentransferprozesse für Real-Time Data Acquisition finden Sie unter Datentransferprozess für Real-Time Data Acquisition anlegen.

4. Wählen Sie das Ziel- und das Quellobjekt aus.

   Wählen Sie dabei zuerst den Objekttyp aus.

   Zur Auswahl des Quell- oder Zielobjektes stehen Ihnen zwei Wertehilfen zur Verfügung:

   Wertehilfe: vorhandene Pfade: Diese Wertehilfe stellt eine jeweils zum Ausgangsobjekt vorhandene Auswahl der bereits im Datenfluss festgelegten Objekte zur Verfügung. Falls nur ein Objekt im Datenfluss vorhanden ist, ist dieses bereits ausgewählt.

   Wertehilfe: Liste aller Objekte: Diese Wertehilfe gibt Ihnen die Möglichkeit, das Objekt jeweils aus der vollständigen BW-Objektliste auszuwählen.

   Als Quellen unterstützte Objekttypen sind DataSources, InfoCubes, MultiProvider, DataStore-Objekte, InfoSets, InfoObjects, semantisch partitionierte Objekte und Queryelemente ( Query als InfoProvider).

   Als Ziele unterstützte Objekttypen sind InfoCubes, DataStore-Objekte, InfoObjects und Open Hub Destinationen.

5. Wählen Sie Weiter.

6. Sie gelangen in die Pflege des Datentransferprozesses.

   Die Kopfdaten zum Datentransferprozess zeigen Ihnen Beschreibung, ID, Version und Status des Datentransferprozesses an sowie den Deltastatus.

7. Legen Sie die Parameter auf der Registerkarte Extraktion fest:

   1. Wählen Sie den Extraktionsmodus.

      Zur Auswahl stehen Ihnen Delta oder Full.

      Hinweis

      • Im Gegensatz zur Deltaübertragung mit einem InfoPackage ist für die Deltaübertragung mit einem DTP keine explizite Initialisierung des Deltaverfahrens nötig. Wenn der Datentransferprozess zum ersten Mal im Deltamodus ausgeführt wird, werden alle vorhandenen Requests aus der Quelle abgeholt und der Delta-Status initialisiert.

      • Für folgende Quellen steht ausschließlich der Extraktionsmodus Full zur Verfügung:

        • InfoObjects

        • InfoSets

        • DataStore-Objekt für direktes Schreiben

      • Der DTP unterstützt im Full-Modus MultiProvider und semantisch partitionierte Objekte als Quelle. Im Delta-Modus unterstützt der DTP MultiProvider und semantisch partitionierte Objekte als Quellen, wenn sie ausschließlich aus InfoCubes bestehen. Falls der MultiProvider einen HybridProvider enthält, wird nur der im HybridProvider enthaltene InfoCube für das Delta verwendet. Für andere InfoProvider, die Teil eines MultiProviders sind, unterstützt der DTP keinen Delta-Modus. Das Delta ist außerdem nicht möglich, wenn mehrere InfoProvider (InfoCubes) des MultiProviders in einem 3.x-Datenfluss über dasselbe InfoPackage fortgeschrieben (und damit mit denselben 3.x-Quell-Requests gefüllt) werden. Die Fehlerbehandlung ist für MultiProvider als DTP-Quelle nicht unterstützt.

      Wenn Sie den Übertragungsmodus Delta gewählt haben, können Sie weitere Parameter festlegen:

      • Legen Sie unter Delta nur einmal abholen fest, ob die Quell-Requests nur einmal übertragen werden sollen.

        Wenn Sie dieses Kennzeichen setzen, wird gewährleistet, dass der Inhalt des InfoProviders ein exaktes Abbild der Quelldaten darstellt.

        Ein solches Szenario kann notwendig werden, wenn ein InfoProvider immer den aktuellsten Datenbestand zu einer Quelle enthalten soll, die zugrunde liegende DataSource aber technisch nicht in der Lage ist, ein Delta, also nur neue, geänderte oder gelöschte Datensätze zu liefern. Zu einer solchen DataSource kann somit der jeweils aktuelle Datenbestand zu den gewünschten Selektionen nur per Full Updateübertragen werden.

        In diesem Fall kann normalerweise ein DataStore-Objekt zur Ermittlung fehlender Delta-Informationen (Überschreiben und Erzeugen eines Deltas) nicht verwendet werden. Sollte dies aber logisch nicht möglich sein, weil beispielsweise in der Quelle Daten gelöscht werden ohne Stornosätze mitzuliefen, können Sie mit Hilfe dieses Kennzeichens ein Snapshot-Szenario durchführen. Dabei wird jeweils nur der aktuellste Request zu dieser DataSource im InfoProvider gehalten. Vorangegangene Requests zur DataSource werden vor Anforderung eines neuen Requests aus dem (Ziel-)InfoProvider gelöscht (z.B. über einen entsprechenden Prozess in einer Prozesskette) und vom Deltaverfahren des DTP nicht erneut übertragen. Für die Delta-Ermittlung zu Beginn der Erzeugung eines neuen DTP-Requests gelten diese vorangegangenen (Quell-)Requests immer als bereits abgeholt.

      • Legen Sie unter Alle neue Daten Request-weise abholen fest, wie neue Daten aus der Quelle abgeholt werden sollen.

        Ein DTP kann sehr große Requests erzeugen, weil er alle übertragungsrelevanten Requests der Quelle bündelt. Wenn Sie die zu übertragende Datenmenge der Quelle nicht innerhalb eines einzigen DTP-Requests übertragen wollen, z.B. weil die Datenmenge der Quelle sehr groß ist, können Sie über das Kennzeichen Alle neuen Daten Request-weise abholen festlegen, dass der DTP immer nur einen Request auf einmal aus der Quelle lesen soll. Am Ende seiner Verarbeitung prüft der DTP-Request, ob es noch weitere neue Requests in der Quelle gibt, und erzeugt in diesem Fall automatisch einen weiteren DTP-Request.

        Hinweis

        • Es ist möglich, das Kennzeichen auch zu ändern, wenn bereits Daten übertragen wurden. Wenn das Kennzeichen gesetzt ist, können Sie so die Daten zunächst in einem einmaligen Vorgang Request-weise übertragen. Wenn Sie dann die Markierung aufheben, holt danach bei der periodisch eingeplanten Datenübertragung der DTP wieder alle neuen Quell-Requests auf einmal ab.

        • Wenn Sie den DTP vor SAP NetWeaver 7.0 Support Package Stack 13 angelegt haben, holt ein DTP-Request mit diesem Kennzeichen nur den ersten Quell-Request ab. Dies schränkt die Verwendbarkeit des DTPs ein, da sich u. U. in der Quelle Requests ansammeln und das Ziel potenziell nicht die aktuellen Daten enthält. Um dies zu verhindern muss der DTP manuell so oft ausgeführt werden, bis alle Quell-Requests abgeholt sind.

          Daher zeigt das System für solche DTPs zusätzlich das Kennzeichen Abholen, bis keine neuen Daten mehr vorhanden sind an.

          Wenn dieses Kennzeichen zusätzlich zu Alle neuen Daten Request-weise abholen gesetzt ist und der DTP aktiviert wurde, verhält sich der DTP wie oben beschrieben und erzeugt DTP-Requests, bis alle neuen Daten aus der Quelle abgeholt sind. In der DTP-Pflege wird das Kennzeichen Abholen, bis keine neuen Daten mehr vorhanden sind nach der Aktivierung nicht mehr angezeigt.

          Wenn das Kennzeichen Abholen, bis keine neuen Daten mehr vorhanden sind zuerst gesetzt war und Sie die Markierung aufheben, ändert sich der Text des Kennzeichens Alle neuen Daten Request-weise abholen zu Nur einen Request abholen. Wenn Sie nun den DTP aktivieren, wird mit dem DTP-Request nur der erste Quell-Request abgeholt.

      • Legen Sie unter DeltaInit ohne Daten fest, ob - analog zur Simulation der Delta-Initialisierung beim InfoPackage - der erste Request eines Delta-DTPs ohne Daten übertragen werden soll.

        Wenn dieses Kennzeichen gesetzt ist, werden lediglich die Quelldaten als abgeholt gekennzeichnet, ohne sie tatsächlich ins Ziel zu übertragen. Die so gekennzeichneten Daten werden dann mit dem nächsten Request nicht mehr gelesen, sondern das seither angefallene Delta. Diese Einstellung können Sie in Szenarien verwenden, in denen der DTP automatisiert innerhalb einer Prozesskette zum Neuaufbau eines Datenziels eingesetzt wird.

        Hinweis

        Diese Einstellung ist eine transportrelevante Änderung der Metadaten des DTPs. Wenn Sie ausschließlich zu Testzwecken Quelldaten als abgeholt kennzeichnen wollen, verwenden Sie daher nicht dieses Kennzeichen. Setzen Sie statt dessen auf der Registerkarte Ausführen den Verarbeitungstyp auf Quelldaten als abgeholt kennzeichnen. Dadurch vermeiden Sie eine transportrelevante Änderung der Metadaten des DTPs (siehe unten).

      • Wenn eine DTP-Quelle Requests mit vielen kleinen Datenpaketen liefert, wie typischerweise das schreib-optimierte DataStore-Objekt, das über Real-Time Data Acquisition versorgt wird, und der DTP im Verarbeitungsmodus Extraktion und Verarbeitung parallel verarbeitet wird, können Sie die Request-Verarbeitung beschleunigen, indem Sie auf der Registerkarte Extraktion die Paketgröße optimieren. Die optimale Paketgröße wird verwendet, um mehrere Quellpakete desselben Quell-Requests in einem Datenpaket des DTP-Requests zu bündeln und somit die Anzahl der Pakete bei der Request-Verarbeitung zu reduzieren.

   2. Legen Sie über ggf. Filterkriterien für die Datenübertragung fest.

      Auf diese Weise können Sie aus einer Quelle mit mehreren Datentransferprozessen mit disjunkten Selektionsbedingungen kleinere Mengen von Daten performant in ein oder mehrere Ziele übertragen anstatt größeres Datenvolumen zu übertragen. Der Filter schränkt somit die zu übertragende Datenmenge ein und arbeitet wie die Selektionen im InfoPackage. Sie haben die Möglichkeit Einzelwerte, Mehrfachselektionen, Intervalle, Selektionen über Variablen oder Routinen anzugeben. Über Auswahl verändern können Sie die Liste der selektierbaren InfoObjects ändern.

      Am Zeichen neben der Drucktaste erkennen Sie, dass der Datentransferprozess voreingestellte Selektionen besitzt. Die Quick-Info zu diesem Zeichen zeigt die Selektionen als Zeichenkette an.

   3. Legen Sie über fest, wie die Datenpakete gebildet werden, die aus der Quelle (DataSource oder InfoProvider) gelesen werden. Dazu legen Sie Schlüsselfelder fest. Die Datensätze zu einem solchen Schlüssel werden in einem Datenpaket zusammengefasst.

      Diese Einstellung ist nur für DataStore-Objekte mit Datenfeldern, die überschrieben werden, relevant. Für die Behandlung fehlerhafter Datensätze legen Sie mit dieser Einstellung die Schlüsselfelder für den Fehler-Stack fest. Durch das Festlegen des Schlüssels für den Fehler-Stack stellen Sie sicher, dass die Daten nach der Korrektur von fehlerhaften Datensätzen in der richtigen Reihenfolge ins Ziel verbucht werden können.

      Weitere Informationen finden Sie unter Behandlung fehlerhafter Datensätze und Fehler-Stack.

      Hinweis

      Bei der parallelen Verarbeitung von zeitabhängigen Stammdaten darf das Feld der Datenquelle, das die DATETO-Information enthält, nicht im semantischen Schlüssel des DTP enthalten sein.

   4. Nehmen Sie ggf. weitere Einstellungen vor, die abhängig vom Quellobjekt und vom Datentyp sind.

8. Legen Sie die Parameter auf der Registerkarte Verbuchung fest:

   1. Nehmen Sie die Einstellungen zur Fehlerbehandlung vor:

      • Unter Fehlerbehandlung legen Sie fest, ob die Fehlerbehandlung ein- oder ausgeschaltet werden soll, und wie im Fehlerfall gültige Sätze verbucht werden sollen.

      • Unter Maximale Anzahl Fehler pro Paket legen Sie fest, nach wie vielen Fehlern der Ladevorgang abbricht.

      Weitere Informationen zu den Einstellungen zur Fehlerbehandlung finden Sie unter Behandlung fehlerhafter Datensätze.

   2. Nehmen Sie ggf. weitere Einstellungen vor, die abhängig vom Zielobjekt sind.

9. Legen Sie die Parameter auf der Registerkarte Ausführen fest:

   Auf der Registerkarte wird in einer Baumstruktur der Programmablauf für den Datentransferprozess dargestellt.

   1. Geben Sie an, welchen technischen Status der Request bei Warnungen im Protokoll annehmen soll.

   2. Geben Sie an, wie der Gesamtstatus des Requests festgelegt wird.

      Nachdem die Verarbeitung eines DTP-Requests technisch abgeschlossen ist, kann der Gesamtstatus des Requests automatisch, d.h. entsprechend des technischen Status des Requests, oder manuell, d.h. durch den Benutzer gesetzt werden. Wenn der Gesamtstatus manuell gesetzt werden soll, bleibt der Request-Gesamtstatus zunächst indifferent, wenn die Verarbeitung technisch Rot oder Grün beendet wurde. Insbesondere sind die Daten eines Requests mit Status Grün noch nicht für das Reporting bzw. für die Weiterverarbeitung freigegeben. Der Gesamtstatus muss manuell vom Benutzer oder über einen Prozess in einer Prozesskette gesetzt werden.

   3. Geben Sie an, ob rote Requests in Prozessketten automatisch wiederholt werden sollen. Diese Einstellung wird ausgewertet, wenn ein DTP beim letzten Lauf einer periodisch eingeplanten Prozesskette einen abgebrochenen Request produziert hat und die Prozesskette das nächste Mal gestartet wird. Wenn das Kennzeichen gesetzt ist, wird der fehlerhafte Vorgänger-Request automatisch gelöscht und ein neuer gestartet. Wenn das Kennzeichen nicht gesetzt ist, bricht der DTP mit der Meldung ab, dass ein neuer Request nicht gestartet werden kann, solange der Vorgänger-Request nicht repariert oder gelöscht ist.

      Hinweis

      Im Falle einer Delta-Fortschreibung enthält der Reparatur-Request nicht nur die Daten des abgebrochenen Requests, sondern alle Daten, die seither in der Quelle hinzugekommen sind. Dies kann sowohl die Performance beeinträchtigen als auch zu Konsistenzproblemen führen. Beispiel für Konsistenzprobleme: Eine Transformation, die voraussetzt, dass die Daten genau eines Tages auf einmal transformiert werden, und die falsche Resultate produziert, führt zu Konsistenzproblemen wenn im Reparatur-Fall die Daten mehrerer Tage auf einmal transformiert werden sollen.

   4. Den Verarbeitungsmodus für die Hintergrundverarbeitung legt das IBM i. d. R. automatisch für den jeweiligen Datentransferprozess fest. Folgende Modi können Sie auswählen:

      • Wenn Sie zu Testzwecken ein Delta ohne Datenübertragung durchführen möchten, wählen Sie Keine Datenübertragung; Deltastatus in Quelle: abgeholt als Verarbeitungsmodus. Dieser Verarbeitungsmodus steht Ihnen zur Verfügung, wenn der Datentransferprozess im Deltamodus extrahiert. Sie führen in diesem Fall den DTP direkt im Dialog aus. Ein so gestarteter Request kennzeichnet die aktuell in der Quelle befindlichen Daten als abgeholt, ohne sie tatsächlich ins Ziel zu übertragen. Sie können den Modus auch einstellen, wenn bereits Delta-Requests dieses Datentransferprozesses übertragen wurden. Dieser Verarbeitungsmodus impliziert keine transportrelevante Änderung der DTP-Metadaten.

      • Wenn Sie den Datentransferprozess im Debugging-Modus ausführen wollen, wählen Sie seriell im Dialogprozess (für Debugging) als Verarbeitungsmodus. In diesem Fall können Sie in der Baumstruktur zum Programmablauf Breakpoints festlegen. Der Request wird dann synchron in einem Dialogprozess verarbeitet und die Verbuchung der Daten wird simuliert. Wenn Sie den Expertenmodus wählen, können Sie zusätzlich zum Setzen von Breakpoints Selektionen für die Simulation festlegen sowie Zwischenspeicher ein- oder ausschalten. Weitere Informationen finden Sie unter DTP-Request simulieren und debuggen.

      Weitere Informationen: Verarbeitungstypen des Datentransferprozesses

10. Prüfen Sie den Datentransferprozess, sichern und aktivieren Sie ihn.

11. Gehen Sie in die Prozesskettenpflege zurück.

    Der Datentransferprozess wird nun in der Plansicht angezeigt und kann in Ihre Prozesskette eingebunden werden. Wenn Sie die Kette aktiviert und eingeplant haben, wird der Datentransferprozess dann ausgeführt, wenn er durch einen Event des Vorgänger-Prozesses in der Kette angestoßen wird.

Datentransferprozess über Objektbaum in der Data Warehousing Workbench anlegen

Sie legen den Datentransferprozess ausgehend vom Ziel an, in das die Daten übertragen werden sollen. Sie befinden sich in einem Objektbaum der Data Warehousing Workbench und haben das Zielobjekt markiert.

1. Wählen Sie im Kontextmenü Datentransferprozess anlegen.

   Sie gelangen auf das Dialogfenster zum Anlegen eines Datentransferprozesses.

2. Gehen Sie weiter vor wie ab Schritt drei bis Schritt 10 in der Vorgehensweise zum Anlegen eines Datentransferprozesses über eine Prozesskette beschrieben. In Schritt vier legen Sie jedoch nur das Quellobjekt fest.

   Sie können nun den Datentransferprozess direkt ausführen.

Weitere Funktionen

Über  Springen  Überblick über DTP  können Sie sich Informationen über Quell-, Zielobjekt,Transformationen sowie über die letzte Änderung des Datentransferprozesses anzeigen.

Über  Springen  Einstellungen Batch-Manager  können Sie Einstellungen für die parallele Verarbeitung des Datentransferprozesses vornehmen. Weitere Informationen: Parallele Verarbeitung von BW-Prozessen einstellen

Über  Springen  Einstellungen DTP-Zwischenspeicher  legen Sie Einstellungen für den Zwischenspeicher fest. Weitere Informationen: Behandlung fehlerhafter Datensätze

Über  Zusätze  Einstellungen Fehler-Stack  können Sie die DB-Speicherparameter einstellen. Weitere Informationen: DB-Speicherparameter