Zahlen, Daten, Fakten 

Über Software nur zu lesen ist immer unbefriedigend. Alle technischen Eigenschaften können Sie selbst überprüfen, mit einem kostenlosen 30-Tage Trial-Zertifikat und den Vollversionen.

 

Wann nennt man ein System wie nadas zu recht  performant und effizient? Urteilen Sie bitte selbst! Die folgenden Messwerte zu drei sehr unterschiedlichen Datenbeständen werden Ihnen einen Eindruck liefern, bezüglich:

(1)   Laufzeit bei der Erstellung (ndwriter)

(2)   Laufzeit bei typischen Auswertungen (ndreader)

(3)   Größenverhältnis NDF zu Rohdaten

 

Die Zeitmessungen wurden, wo nicht anders angegeben, auf einem Dell PowerEdge SC 440, dem Einstiegserver der Dell PowerEdge Serie durchgeführt. (Systempreis unter € 500)

Intel XEON 2.4 GHz, 4 GB Memory
Betriebssystem OpenSUSE 10.3

 

Hinweis: Die Dell PowerEdge und alle weiteren verwendeten Systeme  wurden nicht speziell getunt, was uns angesichts der erzielten Werte auch nicht notwendig erscheint.

Dies sind alles Ergebnisse die unter Alltagbedingungen und im Normalbetrieb des KARIS Netzwerks erzielt wurden. Vergleiche zwischen Herstellern oder verschiedenen Baureihen sind weder beabsichtigt, noch wären sie auf dieser Grundlage  sinnvoll oder zulässig.

 

Die Messungen haben allein den Zweck, Ihnen einen Anhaltspunkt zu geben, was  Sie von nadas erwarten können.

 

1  Messungen mit Geo-Daten

Die folgenden Daten haben wir dem Projekt "openStreetMap" entliehen.

 

Da der ndwriter 2-10 Millionen Datensätze pro Minute importiert, ist es nicht ganz einfach, allgemein verfügbare Datenbestände zu finden, die zu einer nennenswerten Systemlast führen.

 

Die hier verwendeten Daten sind unter Berücksichtigung der im Projekt OpenStreetMaop veröffentlichten Lizenz, "frei" kopierbar.

 

Unsere  Messungen sind so für jeden Interessenten einfach wiederholbar.

 

Eckwerte Geo-Daten (OpenStreetMap)

Import Datenmenge	7 Mio. Datensätze ca. 387 MB als CSV Daten zu Deutschland Stand Januar 2008
NDF-Datenstruktur	3 Tabellen insgesamt 11 Spalten
Importzeit ca.	1 Minute
NDF-Größe	291 MB   (mit zip gepackt 102 MB)

 

Details finden Sie unter Messung Geodaten

2  Messungen aus dem Wertpapierprojekt

In einem Wertpapierstammdaten-Projekt ist die "Urversion" von nadas entstanden.

Der Datenbestand ist insofern interessant, da hier eine hohe Datenbreite und Tiefe gegeben ist.

 

Eckwerte Wertpapierdaten.

Import Datenmenge	10 Mio. Datensätze ca.  1,9 GB ca. 300.000 Gattungen (Wertpapiere) zu 130.000 Emittenten
Datenstruktur	30 Tabellen insgesamt ca. 1.800 Spalten
Importzeit ca.	2,5  Minuten
NDF Größe	1,5 GB verteilt auf 10 NDF aufgeteilt nach Stammdaten, Corporate Actions, etc.

 

 

Das ist die Datenkomplexität für die nadas ursprüglich konzipiert wurde.

 

Für aussagefähige ndreader-Tests haben wir hier SQL-Statements mit den Features
- JOIN
- GROUP BY
- IN SUBSELECT
zusammengestellt und auf den unterschiedlichsten Systemen gegen dasselbe nur einmal erzeugte NDF ausgeführt.

 

Die verwendeten Systeme repräsentieren einen Mix von aktuellen Intel/AMD-Servern mit 4 GB Hauptspeicher über SUN Sparc Solaris, IBM RS6000 AIX bis hin zu "historischen" Arbeitsplatz-PCs mit Intel PIII Prozessor und 256 MB Hauptspeicher.

 

Die Liste der SQL-Abfragen und die Ergebnisse und Ausführungszeit pro Abfrage für die Dell SC440 finden Sie unter Messung Wertpapier-Daten

Eine Tabelle der verwendeten Systeme und die gesamt Ausführungzzeit pro System finden Sie unter Rechnerübersicht WP.

 

Ausführliche Erläuterungen zum Testaufbau und zum fachlichen Hintergrund der Abfragen finden Sie im Dokument SQL/NCL Tutorial, die SQL-Statements und das Ausgabelayout  werden dort schrittweise in Art eines Tutorials verfeinert .

Das Dokument gibt so einen schnellen Überblick zur nadas SQL-Abfragesprache und den Formatierungsmöglichkeiten der NCL (nadas command language).

 

Die WP-Daten sind leider nicht "public domain" und können von uns daher nicht weitergegeben werden.

3   Generierte Testdaten

Dieser Test verwendet automatisch generierte Testdaten und ist dadurch einfach nachzuvollziehen. Die ausführliche Beschreibung ist gleichzeitig ein Tutorial zum ndwriter.

 

Die Daten werden über Skripten generiert. Die Skripten scannen das Dateisystem und tragen bestimmte Werte, z.B. Dateinamen, Größe, MD5-Hahshcode, etc. in eine Datenbank ein.

 

Wir verwenden die "/usr" Verzeichnisse zweier Linuxversionen mit ca. 340.000 Einträgen. Keine grosse aber eine schon nicht mehr ganz triviale Datenmenge.

 

Einmal in die Datenbank importiert, lassen sich durch einfache SQL-Statements viele sinnvolle Auswertungen erzeugen und die Ergebnisse am gescannten System verifizieren. Zum Beispiel Suche nach Dateien mit identischem Inhalt, etc.

 

Das Ganze ist als Anregung für eigene Tests zu verstehen und vielleicht erfahren Sie so ganz nebenbei Dinge über ihre aktuelle Festplattenbelegung, die Sie schon immer wissen wollten.

 

Die Skripten sind auf SUSE-Linux getestet. Das erzeugte NDF ist portabel, wie immer.

Im Tutorial verwenden wir, wie gesagt, einfach die Scanns auf verschiedene Linux  /usr Verzeichnisse. Falls Sie keinen eigenen Scann erzeugen können oder möchten, können sie dieses NDF von unserer Website herunterladen.

 

Diese Auswertungen finden Sie unter ndwriter Tutorial