W grudniu tego roku na jesiennym spotkaniu AGU w San Francisco przedstawiłem plakat, na którym nie było ani krzty nowej nauki. Jednak może się okazać, że była to najbardziej wpływowa prezentacja, jaką zrobiłem.

Z tym plakatem, kilku kolegów i ja przedstawiliśmy światu WALDO. WALDO, czyli Worldwide Archive of Low-frequency Data and Observations, jest dużym – i wciąż rosnącym – zbiorem danych radiowych o niskiej częstotliwości (0,5 do 50 kiloherców), gromadzonych przez dziesięciolecia w miejscach na całym świecie. Mark Golkowski z University of Colorado Denver (CU Denver) i ja wspólnie zarządzamy tą bazą danych.

Dane te mają wszelkiego rodzaju zastosowania w geofizyce, w tym w wykrywaniu i charakteryzowaniu wyładowań atmosferycznych, zdalnym wykrywaniu zjawisk jonosferycznych i magnetosferycznych oraz wykrywaniu rozbłysków słonecznych, błysków gamma i fal grawitacyjnych. Do niedawna jednak, dane na WALDO były gromadzone i przechowywane głównie na dziesiątkach tysięcy płyt DVD – a zatem były w dużej mierze niedostępne dla każdego, kto był zainteresowany ich wykorzystaniem.

Naszym celem z WALDO jest przeniesienie i uporządkowanie tych historycznych danych, powiększonych o bieżące gromadzenie danych, w jednym, standardowym repozytorium opartym na chmurze, tak aby naukowcy dziś i w przyszłości mogli uzyskać do nich dostęp i wykorzystać je w badaniach błyskawic, jonosfery, magnetosfery, pogody kosmicznej i innych.

Nauka ELF/VLF

Każde z milionów uderzeń pioruna dziennie na Ziemi uwalnia intensywny, około 1-milisekundowy impuls ekstremalnie niskiej częstotliwości do bardzo niskiej częstotliwości (ELF/VLF) energii radiowej znany jako sferic. Sfery te odbijają się od dolnej jonosfery (na wysokości 60-90 kilometrów) i od ziemi, co pozwala na ich przemieszczanie się – i wykrywanie – na całym świecie. Garść odbiorników VLF rozproszonych po całym świecie może geolokalizować większość błyskawic z niewiarygodną dokładnością na poziomie kilometrów. Detekcja sferyczna może być również wykorzystana do scharakteryzowania właściwości elektrycznych dolnej jonosfery pomiędzy źródłem a odległym odbiornikiem.

Wąskopasmowe radiolatarnie używane przez Marynarkę Wojenną Stanów Zjednoczonych, nominalnie do komunikacji z okrętami podwodnymi, również nadają w paśmie częstotliwości ELF/VLF, zapewniając kolejny sposób zdalnego wykrywania jonosfery. Chociaż wiadomości te są szyfrowane dla bezpieczeństwa, sygnały radiowe same w sobie stanowią użyteczną diagnostykę jonosfery, która może być odbierana w dowolnym miejscu na Ziemi. Zmiany w warunkach jonosfery, a mianowicie gęstości elektronów, manifestują się jako zmiany amplitudy lub fazy odbieranych sygnałów. Z kolei jonosfera może być używana jako czujnik do monitorowania wszelkiego rodzaju zjawisk geofizycznych, w tym rozbłysków słonecznych, opadów elektronów z magnetosfery, zaćmień Słońca, ogrzewania związanego z błyskawicami, kosmicznego promieniowania gamma, fal grawitacyjnych i wielu innych. Każde z tych zjawisk zakłóca sygnały VLF propagujące pod jonosferą w różny sposób – wpływając na przykład na to, jak szybko zaburzenie zaczyna się i kończy – i te sygnatury pozwalają je od siebie odróżnić. Niektóre zaburzenia jonosfery są bardzo wiarygodne i powtarzalne, jak efekt wschodu i zachodu Słońca.

Niektóra energia ELF/VLF ucieka również do magnetosfery (jako generowane przez błyskawice fale plazmowe zwane whistlerami), gdzie może oddziaływać z uwięzionymi elektronami energetycznymi w ziemskim pasie radiacyjnym i wywoływać wytrącanie elektronów do atmosfery. Fale ELF/VLF są również generowane i przyspieszane w magnetosferze (jako fale zwane chorus i syczenie) w wyniku interakcji fala-cząstka i w ten sposób odgrywają rolę w dynamice pogody kosmicznej na Ziemi. Studiowanie fal radiowych ELF/VLF pozwala nam zarówno badać i lepiej rozumieć te procesy, jak i łączyć tajemnice tego, co dzieje się podczas zjawisk pogody kosmicznej i burz geomagnetycznych.

Te zastosowania danych ELF/VLF, omówione na przykład przez Barra et al. , Inana et al. oraz Silbera i Price’a, są rozwijane od końca XIX wieku, kiedy to naturalne sygnały ELF/VLF można było usłyszeć sprzęgając się z długimi liniami telegraficznymi. Jednak ostatnio pojawiło się również wiele innych zastosowań poza tradycyjnymi zastosowaniami danych ELF/VLF. Na przykład wykrywanie obiektów wewnątrz metalowych skrzynek za pomocą fal ELF/VLF może być wykorzystane do odkrycia schowka z bronią ukrytego wewnątrz kontenera morskiego.

W partnerstwie z grupą badawczą zajmującą się bezpieczeństwem cybernetycznym w Georgia Institute of Technology (Georgia Tech), koledzy i ja wykorzystujemy również dane ELF/VLF do zwiększenia bezpieczeństwa sieci energetycznej przed cyberatakami, takimi jak poważny atak na Ukrainie w grudniu 2015 r., w którym hakerzy wyłączyli wiele podstacji elektrycznych. Dane ELF/VLF wykrywane przez odbiorniki radiowe mogą być wykorzystywane do monitorowania sygnałów sieci energetycznej pod kątem nieprawidłowości. Dane te są również zaśmiecone sferykami z błyskawic na całym świecie, które docierają do odbiorników w quasi-losowych momentach, gdy pojawiają się wyładowania atmosferyczne. Natura dostarcza w ten sposób skuteczny i wykrywalny generator liczb losowych, który, ponieważ błyskawic nie można przewidzieć z wyprzedzeniem, pozwala nam potwierdzić integralność innych danych wykrytych przez odbiorniki.

Rozwój WALDO

Baza danych WALDO – obecnie około 200 terabajtów i rośnie codziennie – już zawiera lub wkrótce będzie zawierać dane, które mogą wzbogacić badania wszystkich powyższych zjawisk i zastosowań. Wiele z tych danych zostało zebranych przez odbiorniki ELF/VLF Uniwersytetu Stanforda oraz, ostatnio, przez nowe lokalizacje rozmieszczone przez Georgia Tech i CU Denver.
.

.
WALDO zawiera również zapisy ELF/VLF z eksperymentów prowadzonych w ramach High-frequency Active Auroral Research Program (HAARP) na Alasce , który od połowy lat 90-tych prowadzi eksperymenty badające jonosferę na dużych wysokościach. Obejmuje on wiele lat danych z Palmer Station na Półwyspie Antarktycznym. I w końcu będzie zawierać wiele danych ze słynnego eksperymentu Siple Station ELF, który trwał od 1973 do 1988 roku i miał na celu badanie wzmocnienia i wyzwalania sygnałów ELF w magnetosferze przy użyciu 42-kilometrowej anteny na Antarktydzie. Do końca roku przewidujemy, że będziemy mieli 500-1000 terabajtów dostępnych danych.

Wysiłek, aby skompilować te rozbieżne zbiory danych w jedną bazę danych rozpoczął się jesienią 2018 roku, kiedy przestrzeń na Uniwersytecie Stanforda, gdzie te dane były fizycznie przechowywane na około 80 000 płyt DVD i CD oraz na jednym mocno uszkodzonym serwerze – musiała zostać oczyszczona. Dyski, z których niektóre były uszkodzone po dziesięcioleciach przechowywania, zostały spakowane i wysłane do Georgia Tech lub CU Denver, gdzie roboty czytające DVD, które mogą zgrać stos 300 dysków na raz, są używane do przenoszenia danych na dyski twarde. W międzyczasie John DeSilva w Stanford powoli wydobył zawartość starego serwera i umieścił te dane w tymczasowym magazynie w chmurze, abyśmy mogli je odzyskać.

Po odzyskaniu dane przechodzą przez cyfrowy schemat sortowania, który aktualizuje formatowanie, aby wszystko było spójne, a następnie umieszcza dane w posortowanych folderach. Opracowaliśmy interfejs online, który umożliwia łatwy dostęp do danych, które mogą być również udostępniane na żądanie każdemu, kto posiada konto Google. Za pośrednictwem strony internetowej użytkownicy mogą przeglądać automatycznie generowane wykresy szybkiego spojrzenia, aby łatwo dowiedzieć się, co jest dostępne, na przykład mapy miejsc odbiorników, z których dostępne są dane z danego dnia, roczne kalendarze pokazujące dostępność danych oraz wykresy podsumowujące dane w ujęciu dzień po dniu.

Wartość zakurzonych danych

Praca nad zachowaniem danych jest ciężka i czasochłonna, ale również satysfakcjonująca. Przekonaliśmy się o tym w wielu dziedzinach. Historyczne i długoterminowe zbiory danych miały kluczowe znaczenie w badaniach klimatu i ekosystemów, rzucając światło nie tylko na warunki panujące w przeszłości, ale także na teraźniejszość i przyszłość. A dzięki wysiłkom konserwatorskim mamy szczęście posiadać dane o plamach słonecznych sięgające ponad 400 lat wstecz – dane, które leżą u podstaw krytycznych wczesnych odkryć dynamiki pogody kosmicznej.

Jako junior na Stanfordzie w styczniu 2002 roku, zwróciłem się do jednego z moich profesorów, Umrana Inana, i zapytałem, czy mógłbym zaangażować się w badania. Podejrzewam, że nie spodziewał się zbyt wiele po studencie, który właśnie dostał C na swoich zajęciach. Dni później znalazłem się w zakurzonym, prawie opuszczonym magazynie w pobliżu Stanford Dish, grzebiąc w 15-letnich taśmach magnetycznych Betamax i Ampex wypełnionych danymi radiowymi ELF/VLF. Taśmy były wciąż upchnięte w oryginalnych kartonowych pudełkach i leżały na półkach ustawionych na wysokości 5 metrów w kilku rzędach, z których każdy miał prawdopodobnie 30 metrów długości. Dlaczego tam byłem?

W 1994 roku, wybuchy wysokoenergetycznych promieni gamma zwane ziemskimi błyskami gamma (TGFs) zostały odkryte przypadkowo z przestrzeni kosmicznej. Okazało się, że TGF pochodzą z błyskawic, ale to było całkiem sporo, co wiedzieliśmy o nich. Dane ELF/VLF mogą być użyte do scharakteryzowania błyskawicy, która spowodowała zjawisko, ale naukowcy mieli tylko dwa przykłady TGF, które można było bezpośrednio powiązać z błyskawicą poprzez dane ELF/VLF. Moim zadaniem było znaleźć więcej przykładów ukrytych w danych na tych wszystkich taśmach.

Jak kaszel z dala od pajęczyn, myślałem o wszystkich kłopotów ludzie przeszli przez, aby utrzymać te taśmy Betamax (dawno przestarzały format nawet wtedy) płynących. Dane, które przeglądałem, zostały zarejestrowane w Stacji Palmera na Antarktydzie przez odbiornik zamontowany na przesuwającym się lodowcu, który był uważnie obserwowany przez pełnoetatowego technika naukowego i co roku serwisowany przez studenta z grupy. Podczas każdej podróży statkiem ze stacji, taśmy były transportowane w dużych pudłach, a następnie układane i przechowywane w tym pełnym gryzoni pomieszczeniu – wszystko finansowane przez amerykańskich podatników za pośrednictwem National Science Foundation. A ten rodzaj zbierania danych trwał od dziesięcioleci w miejscach na całym świecie utrzymywanych przez tę grupę badawczą.

Living Data Sets

„Czy było warto?” pomyślałem, przedzierając się przez ten magazyn. Odpowiedź, jak się przekonałem, jest jednoznacznie twierdząca (i to nie tylko dlatego, że te dane doprowadziły do moich pierwszych recenzowanych prac badawczych i pomogły mi postawić stopę w drzwiach badań). Nauczyłem się, że zestawy danych geofizycznych są żywe i że ich wartość intelektualna zmienia się wraz z naszymi priorytetami naukowymi.

Gdy uzyskano pomiary zarejestrowane na kasetach Betamax, nikt nie przewidywał, że będą one potrzebne do badania TGF; pomiary zostały pierwotnie zebrane z innych powodów. Łatwo byłoby wyrzucić te dane zanim okazałyby się przydatne do badania TGF- lub nawet później. Po kasetach Betamax, zaczęliśmy zapisywać dane cyfrowe na płytach CD, potem na DVD, następnie na zewnętrznych dyskach twardych, potem na dużym serwerze danych – a teraz przenosimy je do chmury. Na każdym kroku musieliśmy przeciągać wszystkie nagromadzone dane ze starych nośników do współczesności. Ale ponieważ te dane nie zostały wyrzucone, są one nadal dostępne dzisiaj do badania wielu naturalnych zjawisk i procesów.

Można zapytać, czy warto, biorąc pod uwagę wydatki i wysiłek. Myślę, że tak. Nigdy nie wiadomo, jak te dane mogą być wykorzystane. Nigdy bym się nie spodziewał, że geofizyczne dane o wyładowaniach atmosferycznych będą miały wpływ na przykład na świat cyberbezpieczeństwa. Obecnie obserwujemy, jak wysokowydajne systemy obliczeniowe i uczenie maszynowe odkrywają nowe możliwości na podstawie starych danych, a interdyscyplinarne projekty często znajdują zaskakujące zastosowania dla historycznych zbiorów danych. Podejrzewam, że w niedalekiej przyszłości ktoś wymyśli nowy sposób spojrzenia na dane ELF/VLF zebrane dekadę temu. Ale czy te dane będą nadal dostępne?

Jesteśmy to winni przyszłym naukowcom – i amerykańskim podatnikom, którzy sfinansowali większość tej pracy – aby zapewnić, że będą one dostępne. Od czasu ogłoszenia WALDO w grudniu, otrzymaliśmy kilka zapytań i powiadomień od osób korzystających z bazy danych. Mamy nadzieję, że zachowując te dane w WALDO, otworzymy drzwi dla zaskakujących i niespodziewanych odkryć.