Wie DTN Wettervorhersagedaten auf Petabyte pro Tag skaliert

Wettervorhersagen sind eine der ältesten Datenherausforderungen. Datenwissenschaftler suchen ständig nach Wegen, um mit neuen Modellierungstechniken und besseren Datenarchitekturen genauere und zeitnahere Vorhersagen zu ermöglichen. Die Verbraucher möchten vielleicht nur wissen, ob sie einen Regenschirm oder Sonnencreme mitbringen sollen, aber bessere Wettervorhersagen helfen Unternehmen aller Art, ihre Abläufe zu verbessern und die Auswirkungen von schlechtem Wetter zu verringern.

DTN, der größte private Wetterdienst, nutzte kürzlich den neuen Hochleistungs-Computing-Service von Amazon Web Services (AWS), um die Größe, Genauigkeit und Aktualität seiner Wettervorhersage-Pipeline dramatisch zu erweitern. Diese verbesserten Prognosen zeigen bereits Dividenden für die Operational Intelligence Services von DTN für Landwirtschaft, Schifffahrt, Versorgungsunternehmen und andere Branchen.

„Die Fähigkeit, die skalierbare Infrastruktur der Cloud und des High Computing zu nutzen, hat unsere Fähigkeit, tägliche Wettervorhersagen zu nutzen, verbessert“, sagte Renny Vandewege, Vice President of Weather Operations von DTN, gegenüber Venture Beat. ..

Laut Vandewege werden meteorologische Daten derzeit für den 2- bis 3-Milliarden-Dollar-Markt für operative Nachrichtendienste bereitgestellt und wachsen schnell.

Die Kombination mehrerer neuer AWS-Services hat es DTN ermöglicht, die verarbeitete Datenmenge von Terabyte auf Petabyte pro Tag zu steigern. Erhöhen Sie die Auflösung von 10 km auf ein feineres 1 km “Pixel”. Erhöhen Sie die Anzahl der Prognosen von 2 pro Tag auf 4 pro Tag. DTN wird in naher Zukunft stündliche Updates liefern.

Migration in die Cloud

DTN hat damit begonnen, mehr Dateninfrastruktur in die AWS-Cloud zu migrieren, um seine Daten- und Operational-Intelligence-Angebote zu erweitern. Es verließ sich jedoch immer noch auf seinen eigenen verwalteten Supercomputer, um alle Vorhersagen durchzuführen. In den letzten Jahren hat das Team von Vandewege begonnen, mit Amazon an einem Proof-of-Concept für die Ausführung hochauflösender Modelle mit parallelen Clustern zu arbeiten.

Die neuen DTN-Verbesserungen nutzen die neue AWS HPc6a-Instance, die für eng gekoppelte HPC-Workloads (High Performance Computing) entwickelt wurde. Dadurch kann DTN virtuelle Supercomputer zwischen virtuellen Maschinen zusammenstellen, die auf AMD EPIC-Prozessoren der 3. Generation laufen. Außerdem bieten sie ein um 65 % besseres Preis-/Leistungsverhältnis als bisherige Produkte.

Noch wichtiger ist, dass DTN den AWS Parallel Cluster-Service verwendet, um neue HPC-Cluster dynamisch und automatisch bereitzustellen und zu verwalten. Dadurch kann DTN neue Ensemble-Vorhersagetechniken nutzen, die die Ergebnisse mehrerer Modelle und leicht unterschiedlicher Ausgangsannahmen in genauere Vorhersagen integrieren.

Ensemble-Vorhersagen machen sich die Tatsache zunutze, dass verschiedene Wettervorhersagemodelle unter verschiedenen Bedingungen etwas besser funktionieren. Anstatt die Genauigkeit eines einzelnen Modells unter allen Bedingungen zu verbessern, führen Data Scientists mehrere Modelle parallel aus und integrieren die Ergebnisse in eine einzige Vorhersage. Die Ergebnisse dieser Ensemble-Prognosen sind für verschiedene Regionen, Klima- und Wetterbedingungen tendenziell genauer.

Um jedoch viele Modelle auszuführen, können Sie Rohdaten von Satelliten, meteorologischen Stationen und Radar aggregieren, neue Simulationen starten, verschiedene Modelle ausführen und alle Ergebnisse zu einer offiziellen Vorhersage kombinieren. Mit der neuen AWS-Infrastruktur skaliert DTN vorausschauende Operationen dynamisch als Reaktion auf schlechtes Wetter wie Hurrikane und Tornados, sodass Kunden präventive und Wiederherstellungsoperationen priorisieren können.

„Wir haben mit Amazon zusammengearbeitet, um diese Modelle schnell genug laufen zu lassen, um den Daten zu helfen“, sagt Vandewege.

Schaffung neuer Werte

DTN begann in den 1980er Jahren als landwirtschaftlicher Informationsdienst und wurde drahtlos an dedizierte Videoterminals geliefert, daher wurde der Name “digitales Übertragungsnetz” später abgekürzt. Es hat sich immer auf das Wetter konzentriert. Das Unternehmen hat im Laufe der Jahre mehrere bedeutende Veränderungen erfahren, da das Internet wächst und mit anderen Wetterdiensten konkurriert. Durch die Nutzung zentraler Wettervorhersagefunktionen haben wir unseren Fokus auf Operational Intelligence Services für eine Vielzahl von Branchen verlagert.

So hat das Unternehmen beispielsweise ein Seeschifffahrtsprodukt entwickelt, um Route und Geschwindigkeit unter Verwendung des digitalen Zwillings eines bestimmten Schiffs in Kombination mit genauen Wetter- und aktuellen Daten zu optimieren.

„Eine Verbesserung der Kraftstoffeffizienz um 5 % könnte der Branche in einem Jahr Millionen und sogar Milliarden von Dollar einsparen“, sagte Vandewege.

DTS hat außerdem ein neues vorbeugendes Wartungsmodell entwickelt, um Versorgungsunternehmen dabei zu unterstützen, den Austausch oder die Härtung von Geräten zu priorisieren, die am wahrscheinlichsten von Hitzewellen, Stürmen oder anderen wetterbedingten Ereignissen betroffen sind.

Diese neuen Dienste werden davon profitieren, neue Wege zu finden, um genauere Wetterdaten mit anderen Informationen zu kombinieren. Datenwissenschaftler von DTN haben beispielsweise Wetterbedingungen gepaart mit Stromausfällen und bestimmten Arten von Geräteausfällen im letzten Jahrzehnt rekonstruiert.

„Der Klimawandel ist ein sehr wichtiger Faktor für uns“, sagte Vandewege. „DTN konzentriert sich darauf, zu überwachen, wie sich der Klimawandel als meteorologische Risiken manifestiert, und Unternehmen dabei zu unterstützen, geeignete Maßnahmen zur Vorbereitung auf diese individuellen meteorologischen Risiken zu ergreifen.“

Neue Ansätze zur Erstellung und Modellierung groß angelegter Prognosen werden erst durch die zunehmende Unsicherheit über den Klimawandel, politische Unruhen und verschiedene Schocks in der Lieferkette wichtig.