Weltweit steht man heute vor der Herausforderung, große Datenmengen verarbeiten zu müssen, um das Potenzial der vorhandenen Informationen ausschöpfen zu können. In Wissenschaft und Ingenieurwesen bilden multidimensionale Sensor-, Bild-, Simulations- und Statistikdaten den größten Anteil dieser extrem voluminösen Daten. Auf Initiative von Peter Baumann, Professor für Informatik an der Jacobs University, wurde nun entschieden, die Datenbanksprache SQL um solche massiven multidimensionalen Arraydaten zu erweitern.
SQL ist die Standard-Abfragesprache für Datenbanken. Vor allem in der Wirtschaft und der Verwaltung wird diese sehr erfolgreich verwendet. In der Wissenschaft sind die Datenmengen jedoch häufig anders strukturiert. Statt einfacher Tabellen bestehen die „Big Data“ häufig aus multidimensionalen Datenwürfeln. In den Geowissenschaften beispielsweise müssen oft eindimensionale (1D) Sensor-Daten, 2D-Satellitenaufnahmen sowie 3D-Satellitenbild-Zeitreihen und geologische Bodenmodelle sowie vierdimensionale Klimadaten zusammengeführt werden.
In den Lebenswissenschaften entstehen durch Aufnahmen aus der Laserscan-Mikroskopie oder Computertomographie große Datensätze. In der Astronomie und Physik können die Datenvolumina noch weiter anwachsen, etwa wenn es um Simulationen des Universums geht. „SQL kann diese komplexen Datenwürfel weder finden noch filtern oder verarbeiten, daher werden großvolumige Daten heutzutage größtenteils außerhalb von Datenbanken gesammelt“, erklärt Peter Baumann. „In meiner Arbeitsgruppe forschen wir schon lange daran, SQL passend zu erweitern. Mit der von uns entwickelten Rasdaman-Technologie, einem neuartigen Datenbanksystem, können wir solche multidimensionalen Rasterdaten problemlos verarbeiten.“
Jetzt werden Baumann und seine Kollegen ihre Forschungsergebnisse und ihre langjährige Erfahrung einsetzen, um im Auftrag der Internationalen Organisation für Normung (ISO) eine Erweiterung des SQL-Standards zu entwickeln. Die offizielle Bezeichnung für die von ihnen vorgenommene Integration von multidimensionalen Datenwürfeln lautet „ISO 9075 SQL/MDA“ (für „Multi-Dimensional Arrays“).
Die Rasdaman-Technologie wird inzwischen von einer Reihe von internationalen Daten-Centern verwendet, um Einsichten in ihre multidimensionalen Rasterdaten zu erlangen. So arbeiten beispielsweise NASA und ESA, British Geological Survey, Plymouth Marine Laboratory und der Deutsche Wetterdienst mit Rasdaman Datenbanken.