Verarbeitung großer Datendateien¶
Mit großen Datendateien sind Dateien mit mehr als 2 Millionen Punkte bis zu 2.1 Milliarden Punkte pro Kanal gemeint.
Bemerkung
Ab UniPlot R2013.4 werden in der 64-Bit-Version erst ab 4.000.000 Punkte reduzierte Dateien erzeugt. In der 32-Bit-Version werden weiterhin ab 2.000.000 Punkte reduzierte Dateien erzeugt. Über die Eingabe von:
WriteProfileInt("Settings", "data-reduce-limit", 8e6)
im UniScript-Kommandofenster kann das Limit geändert werden. Gültige Werte liegen zwischen 2e6 und 32e6.
Für die aktuelle Sitzung kann das Limit über die folgende Anweisung geändert werden:
_g()._data_reduce_limit = 8e6
In den älteren UniPlot-Versionen werden die Daten immer komplett in das Dokument geladen. Das klappt problemlos bei Kanälen bis zu 2 Millionen Punkten und eingeschränkt auch bei Kanälen bis zu 10 Millionen Punkten.
Ab UniPlot R2012 werden bei langen Kanälen mit mehr als 2 Millionen Punkten reduzierte Kanäle mit einem Reduktionsfaktor von 1000 erzeugt.
Dabei werden jeweils 2000 Punkte auf 2 Punkte reduziert, indem die Minima und Maxima der 2000-Punkt-Blöcke verwendet werden.
Die reduzierten Kanäle werden in in das Attribut nc_reduced
geschrieben,
siehe nc_varinq_info. Bis UniPlot R2015.3 wurden die reduzierten Daten
in eine separate Datendatei mit der Dateinamenserweiterung -red.nc2
geschrieben.
Das folgende Beispiel veranschaulicht dies.
Beispiel¶
Geben Sie im UniScript-Kommando-Fenster den Befehl
make_big_nc2_file()
ein. Es wird in Ihrem UniPlot-Benutzerverzeichnis eine Test-Datei mit ca. 59 Millionen Punkten erzeugt und im Datenbrowserfenster geöffnet.Im Datenbrowser-Fenster wählen Sie den Typ
1D: y/t
und ziehen Sie den Kanal-Namen pzyl_1 in eine Seite eines UniPlot-DokumentsDa der Kanal der angezeigten Kurve über 2 Millionen Punkte enthält, nämlich 59 Mio., wird ein reduzierter Kanal mit ca. 59.000 Punkten erzeugt und angezeigt.
Über den Schalter können Sie einen Teil der Kurve in das Diagramm zoomen. Durch Klicken des Schalters können Sie später wieder die komplette Kurve anzeigen lassen.
Der folgende Kurve zeigt einen Ausschnitt am Anfang der Kurve an. Da die Punktanzahl in diesem Bereich nur ca. 100.000 Punkte beträgt, werden die Daten aus der nicht-reduzierten Datei gelesen.
Wird der Diagrammausschnitt vergrößert, werden so lange Punkte aus der nicht-reduzierten Datei nachgeladen, bis 2.000.000 Punkte erreicht sind, danach werden die reduzierten Kanäle verwendet.
Hinweise und Einschränkungen¶
Bei x/y-Kurven mit mehr als 2.000.000 Punkten muss der x-Kanal streng monoton aufsteigend sortiert sein und darf keine Missing-Values enthalten. Diese Einschränkung gibt es bei Kurven mit weniger als 2 Millionen Punkten nicht.
Die Kurven können maximal 2^31-1 (2.147.483.647) Punkte enthalten. Die reduzierten Kanäle haben dann eine Länge von 2.147.484 Punkten.
Datendateien die im netCDF-Format vorliegen, werden zunächst in das UniPlot-Datendateiformat (nc2) konvertiert.
Wenn eine Kurve mit mehr als 2 Millionen Punkten erzeugt werden soll, wird von allen Kanälen > 2e6 Punkten eine Datendatei mit reduzierter Punktanzahl erzeugt. Dazu muss Schreibzugriff auf das Verzeichnis möglich sein. in dem die Datendatei liegt.
Siehe auch Symbolleiste=>Achsenskalierung.
Siehe auch
Siehe auch
Überblick XY-Datensätze, Überblick Datendatei-Informationen für Datensätze, Überblick UniPlot-Datendateien, XYReload, NC_CreateSampleReduction, auto_ImportData, Symbolleiste=>Achsenskalierung
id-426410