Verarbeitung großer Datendateien

Mit großen Datendateien sind Dateien mit mehr als 2 Millionen Punkte bis zu 2.1 Milliarden Punkte pro Kanal gemeint.

Bemerkung

Ab UniPlot R2013.4 werden in der 64-Bit-Version erst ab 4.000.000 Punkte reduzierte Dateien erzeugt. In der 32-Bit-Version werden weiterhin ab 2.000.000 Punkte reduzierte Dateien erzeugt. Über die Eingabe von:

WriteProfileInt("Settings", "data-reduce-limit", 8e6)

im UniScript-Kommandofenster kann das Limit geändert werden. Gültige Werte liegen zwischen 2e6 und 32e6.

Für die aktuelle Sitzung kann das Limit über die folgende Anweisung geändert werden:

_g()._data_reduce_limit = 8e6

In den älteren UniPlot-Versionen werden die Daten immer komplett in das Dokument geladen. Das klappt problemlos bei Kanälen bis zu 2 Millionen Punkten und eingeschränkt auch bei Kanälen bis zu 10 Millionen Punkten.

Ab UniPlot R2012 werden bei langen Kanälen mit mehr als 2 Millionen Punkten reduzierte Kanäle mit einem Reduktionsfaktor von 1000 erzeugt.

Dabei werden jeweils 2000 Punkte auf 2 Punkte reduziert, indem die Minima und Maxima der 2000-Punkt-Blöcke verwendet werden.

Die reduzierten Kanäle werden in in das Attribut nc_reduced geschrieben, siehe nc_varinq_info. Bis UniPlot R2015.3 wurden die reduzierten Daten in eine separate Datendatei mit der Dateinamenserweiterung -red.nc2 geschrieben.

Das folgende Beispiel veranschaulicht dies.

Beispiel

  • Geben Sie im UniScript-Kommando-Fenster den Befehl make_big_nc2_file() ein. Es wird in Ihrem UniPlot-Benutzerverzeichnis eine Test-Datei mit ca. 59 Millionen Punkten erzeugt und im Datenbrowserfenster geöffnet.

  • Im Datenbrowser-Fenster wählen Sie den Typ 1D: y/t und ziehen Sie den Kanal-Namen pzyl_1 in eine Seite eines UniPlot-Dokuments

    ../../_images/big-data-browser.png

    Da der Kanal der angezeigten Kurve über 2 Millionen Punkte enthält, nämlich 59 Mio., wird ein reduzierter Kanal mit ca. 59.000 Punkten erzeugt und angezeigt.

    ../../_images/big-channel-1.png

  • Über den Schalter Cursor_ZoomAusschnitt können Sie einen Teil der Kurve in das Diagramm zoomen. Durch Klicken des Schalters Cursor_AutoSkalierung können Sie später wieder die komplette Kurve anzeigen lassen.

    Der folgende Kurve zeigt einen Ausschnitt am Anfang der Kurve an. Da die Punktanzahl in diesem Bereich nur ca. 100.000 Punkte beträgt, werden die Daten aus der nicht-reduzierten Datei gelesen.

    ../../_images/big-channel-2.png

    Wird der Diagrammausschnitt vergrößert, werden so lange Punkte aus der nicht-reduzierten Datei nachgeladen, bis 2.000.000 Punkte erreicht sind, danach werden die reduzierten Kanäle verwendet.

Hinweise und Einschränkungen

  • Bei x/y-Kurven mit mehr als 2.000.000 Punkten muss der x-Kanal streng monoton aufsteigend sortiert sein und darf keine Missing-Values enthalten. Diese Einschränkung gibt es bei Kurven mit weniger als 2 Millionen Punkten nicht.

  • Die Kurven können maximal 2^31-1 (2.147.483.647) Punkte enthalten. Die reduzierten Kanäle haben dann eine Länge von 2.147.484 Punkten.

  • Datendateien die im netCDF-Format vorliegen, werden zunächst in das UniPlot-Datendateiformat (nc2) konvertiert.

  • Wenn eine Kurve mit mehr als 2 Millionen Punkten erzeugt werden soll, wird von allen Kanälen > 2e6 Punkten eine Datendatei mit reduzierter Punktanzahl erzeugt. Dazu muss Schreibzugriff auf das Verzeichnis möglich sein. in dem die Datendatei liegt.

  • Siehe auch Symbolleiste=>Achsenskalierung.

    ../../_images/SymbolleisteAchsenskalierung.png

  • Siehe auch

    ../../_images/data-reload-de.png

Siehe auch

Überblick XY-Datensätze, Überblick Datendatei-Informationen für Datensätze, Überblick UniPlot-Datendateien, XYReload, NC_CreateSampleReduction, auto_ImportData, Symbolleiste=>Achsenskalierung

id-426410