Neste último mês de dezembro, no Encontro de Outono da AGU em São Francisco, eu apresentei um poster sem um pedaço de nova ciência sobre ele. No entanto, pode vir a ser a apresentação de maior impacto que fiz.

Com o cartaz, vários colegas e eu apresentámos o WALDO ao mundo. WALDO, ou o Arquivo Mundial de Dados e Observações de Baixa Frequência, é um grande – e crescente – volume de dados de rádio de baixa frequência (0,5 a 50 kilohertz) recolhidos ao longo de décadas em locais de todo o mundo. Mark Golkowski da Universidade do Colorado Denver (CU Denver) e eu gerimos conjuntamente a base de dados.

Tantos dados têm todos os tipos de usos na geofísica, incluindo na detecção e caracterização de raios, detecção remota de fenómenos ionosféricos e magnetosféricos, e detecção de erupções solares, flashes de raios gama, e ondas de gravidade. Até recentemente, porém, os dados sobre o WALDO têm sido acumulados e armazenados principalmente em dezenas de milhares de DVDs – e, portanto, têm sido amplamente inacessíveis a qualquer pessoa interessada em usá-los.

Nosso objetivo com o WALDO é transferir e organizar esses dados históricos, ampliados com a coleta de dados em andamento, em um único repositório padronizado baseado em nuvens, para que os cientistas de hoje e do futuro possam acessá-los e colocá-los em uso em estudos de relâmpagos, da ionosfera, da magnetosfera, do clima espacial e muito mais.

A Ciência da ELF/VLF

Cada um dos milhões de raios por dia na Terra libera um pulso intenso, de aproximadamente 1 milissegundo de freqüência extremamente baixa a muito baixa freqüência (ELF/VLF) de energia de rádio conhecida como um rádio sferic. Estes féricos reflectem a partir da ionosfera inferior (60-90 quilómetros de altitude) e fora do solo, permitindo-lhes viajar – e serem detectados – globalmente. Um punhado de receptores VLF espalhados pelo mundo podem geolocalizar a maioria dos relâmpagos com uma precisão incrível ao nível do quilômetro. A detecção de feixes de luz também pode ser usada para caracterizar as propriedades elétricas da ionosfera inferior entre a fonte e um receptor distante.

>9940

Balizas de banda estreita utilizadas pela Marinha dos EUA, nominalmente para comunicações submarinas, também transmitem na banda de frequência ELF/VLF, fornecendo outro meio de detecção remota ionosférica. Embora estas mensagens sejam codificadas para segurança, os próprios sinais de rádio são um útil diagnóstico ionosférico que pode ser captado em qualquer lugar da Terra. As alterações nas condições ionosféricas, nomeadamente, a densidade de electrões, manifestam-se como alterações quer na amplitude quer na fase dos sinais recebidos. Por sua vez, a ionosfera pode ser usada como sensor para monitorar todos os tipos de fenômenos geofísicos, incluindo erupções solares, precipitação de elétrons da magnetosfera, eclipses solares, aquecimento relacionado à luz, raios gama cósmicos, ondas de gravidade, e muito mais. Cada um desses fenômenos perturba os sinais de FVL que se propagam sob a ionosfera de diferentes maneiras – afetando a rapidez com que uma perturbação começa e termina, por exemplo – e essas assinaturas permitem distingui-los um do outro. Alguns distúrbios ionosféricos são muito confiáveis e repetíveis, como o efeito do Sol nascendo e se fixando.

Alguma energia ELF/VLF também escapa para a magnetosfera (como ondas de plasma geradas por relâmpagos chamadas whistlers), onde ela pode interagir com elétrons energéticos presos na faixa de radiação da Terra e desencadear a precipitação de elétrons para a atmosfera. As ondas ELF/VLF também são geradas e aceleradas na magnetosfera (como ondas chamadas de refrão e silvo) como resultado das interacções onda-partícula e, assim, desempenham um papel na dinâmica do tempo espacial na Terra. O estudo das ondas de rádio ELF/VLF permite-nos estudar e compreender melhor estes processos e juntar mistérios do que acontece durante eventos meteorológicos espaciais e tempestades geomagnéticas.

Estes usos dos dados ELF/VLF, revistos, por exemplo, por Barr et al. , Inan et al. , e Silber and Price , têm sido desenvolvidos desde o final do século XIX, quando os sinais ELF/VLF naturais podiam ser ouvidos acoplando-se em longas linhas telegráficas. Mas uma série de outras aplicações fora dos usos tradicionais dos dados ELF/VLF também surgiram recentemente. Por exemplo, a detecção de objetos dentro de caixas metálicas usando ondas ELF/VLF poderia ser usada para descobrir um cache de armas escondido dentro de um container de embarque.

Em parceria com um grupo de pesquisa de cibersegurança do Georgia Institute of Technology (Georgia Tech), colegas e eu também estamos usando dados ELF/VLF para aumentar a segurança da rede elétrica contra ciberataques, como o grande ataque na Ucrânia em dezembro de 2015 no qual hackers desabilitaram várias subestações elétricas. Os dados ELF/VLF detectados pelos receptores de rádio podem ser usados para monitorar os sinais da rede de energia para detectar irregularidades. Estes dados também estão cheios de feixes de raios ao redor do mundo, que chegam aos receptores em tempos quase de domínio à medida que um raio ocorre. A natureza fornece assim um gerador de números aleatórios eficaz e detectável que, como os relâmpagos não podem ser previstos com antecedência, nos permite validar a integridade de outros dados detectados pelos receptores .

Desenvolvendo o WALDO

O banco de dados WALDO – atualmente, cerca de 200 terabytes e diários em crescimento – já contém ou em breve conterá dados que poderão enriquecer os estudos de todos os fenômenos e aplicações acima. Muitos dos dados foram coletados por receptores ELF/VLF da Universidade de Stanford e, mais recentemente, por novos sites implantados pela Georgia Tech e CU Denver.
.

.
WALDO também inclui gravações ELF/VLF de experimentos realizados como parte do Programa de Pesquisa Auroral Ativa de Alta Freqüência (HAARP) no Alasca , que tem realizado experimentos para estudar a ionosfera de alta latitude desde meados da década de 1990. Inclui muitos anos de dados da Estação Palmer na Península Antártica. E eventualmente incluirá muitos dados do famoso experimento ELF da Estação Siple, que funcionou de 1973 a 1988 para estudar a amplificação e o acionamento dos sinais ELF na magnetosfera usando uma antena de 42 quilômetros na Antártida. No final do ano, antecipamos ter 500-1.000 terabytes de dados disponíveis.

O esforço para compilar esses conjuntos de dados díspares em um único banco de dados começou no outono de 2018, quando o espaço na Universidade de Stanford onde esses dados estavam fisicamente armazenados – cerca de 80.000 DVDs e CDs e em um servidor muito corrompido – começou a ser limpo. Os discos, alguns dos quais foram danificados após décadas de armazenamento, foram embalados e enviados para Georgia Tech ou CU Denver, onde robôs de leitura de DVDs que podem rasgar uma pilha de 300 discos de cada vez são usados para mover os dados para os discos rígidos. Enquanto isso, John DeSilva em Stanford extraiu lentamente o conteúdo do servidor antigo e colocou esses dados em armazenamento temporário em nuvem para que pudéssemos recuperar.

Após a recuperação, os dados são passados por um esquema de ordenação digital que atualiza a formatação para que tudo seja consistente e depois coloca os dados em pastas ordenadas. Desenvolvemos uma interface online que permite o fácil acesso aos dados, que também pode ser compartilhada com qualquer pessoa com uma conta Google, mediante solicitação. Através do site, os usuários podem visualizar gráficos rápidos gerados automaticamente para facilitar a descoberta do que está disponível, por exemplo, mapas de sites receptores dos quais os dados de um determinado dia estão disponíveis, calendários anuais mostrando a disponibilidade dos dados e gráficos resumidos dos dados no dia-a-dia.

O valor dos dados em pó

O trabalho de preservar os dados é duro e demorado, mas também gratificante. Temos visto evidências disso em muitos campos. Os conjuntos de dados históricos e de longo prazo têm sido críticos nos estudos do clima e dos ecossistemas, por exemplo, lançando luz não só sobre as condições do passado, mas também sobre o presente e o futuro. E graças aos esforços de preservação, temos a sorte de ter dados de manchas solares que se estendem por mais de 400 anos – dados esses que estão na base de descobertas críticas iniciais da dinâmica do clima espacial.

Como júnior em Stanford, em janeiro de 2002, eu me aproximei de um dos meus professores, Umran Inan, e perguntei se eu poderia me envolver em pesquisas. Suspeito que ele não estava antecipando muito de um aluno que tinha acabado de receber um C em sua classe. Dias depois, encontrei-me num armazém empoeirado, quase abandonado, perto do prato de Stanford, a remexer nas fitas magnéticas Betamax e Ampex de 15 anos, cheias de dados de rádio ELF/VLF. As fitas ainda estavam enfiadas em suas caixas de papelão originais e estavam alinhadas em prateleiras empilhadas com 5 metros de altura em várias fileiras, cada uma com provavelmente 30 metros de comprimento. Porque eu estava lá?

Em 1994, foram descobertas explosões de raios gama de alta energia chamados de flashes de raios gama terrestres (TGFs) serendipitalmente do espaço . Parecia que os TGF tinham origem em relâmpagos, mas isso era praticamente tudo o que sabíamos sobre eles. Os dados ELF/VLF podem ser usados para caracterizar os raios que causaram o fenômeno, mas os cientistas tinham apenas dois exemplos em mãos de TGFs que podiam ser diretamente ligados aos raios através dos dados ELF/VLF. Meu trabalho era encontrar mais exemplos escondidos nos dados de todas essas fitas.

Como eu tossiu as teias de aranha, eu pensei em todos os problemas que as pessoas tinham tido para manter essas fitas Betamax (um formato longo e obsoleto até então) fluindo. Os dados que eu estava olhando foram gravados na Estação Palmer, Antártica, por um receptor montado em uma geleira que foi cuidadosamente vigiada por um técnico de ciências em tempo integral e atendida todos os anos por um aluno do grupo. A cada viagem de barco da estação, as fitas eram enviadas em grandes caixas, depois empilhadas e armazenadas neste espaço infestado de lixo – tudo financiado pelo dinheiro dos contribuintes americanos através da National Science Foundation. E esse tipo de coleta de dados vinha sendo feito há décadas em locais em todo o mundo mantidos por esse grupo de pesquisa.

Living Data Sets

“Valeu a pena?”. Pensei que enquanto me afastava naquele armazém. A resposta, como eu vim a descobrir, é um inequívoco sim (e não apenas porque esses dados levaram aos meus primeiros trabalhos de pesquisa revisados por colegas e me ajudaram a colocar o meu pé na porta da pesquisa). Aprendi que os conjuntos de dados geofísicos são vivos e que o seu valor intelectual muda conforme as nossas prioridades científicas.

Quando as medições registradas nessas fitas Betamax foram obtidas, ninguém imaginava que eventualmente precisaria delas para estudar TGFs; as medições foram originalmente coletadas por outras razões. Teria sido fácil deitar fora os dados antes de eles se revelarem úteis para o estudo dos TGF – ou mesmo depois disso também. Após o uso das fitas Betamax, passamos a gravar dados digitais em CDs, depois em DVDs, depois em discos rígidos externos, depois em um grande servidor de dados – e agora estamos movendo-os para a nuvem. A cada passo, tivemos que arrastar todos os dados acumulados de mídias antigas para os dias de hoje. Mas como esses dados não foram descartados, eles ainda estão disponíveis hoje para estudar inúmeros fenômenos e processos naturais.

É justo perguntar se vale a pena, dadas as despesas e o esforço. Eu acho que vale. Nunca se sabe como estes dados podem ser usados. Eu nunca esperaria que os dados de raios geofísicos tivessem um impacto no mundo da ciber-segurança, por exemplo. Hoje estamos vendo computação de alto desempenho e aprendizagem de máquinas revelarem novos insights a partir de dados antigos, e projetos interdisciplinares muitas vezes encontram usos surpreendentes para conjuntos de dados históricos. Em um futuro não muito distante, suspeito que alguém pensará em uma nova maneira de olhar para os dados ELF/VLF coletados há uma década. Mas os dados ainda estarão disponíveis?

Devemos isso aos futuros cientistas – e aos contribuintes americanos, que financiaram grande parte desse trabalho – para garantir que eles estejam disponíveis. Desde o anúncio do WALDO em dezembro, recebemos várias consultas e notificações de pessoas que utilizam o banco de dados. Nossa esperança é que, preservando esses dados no WALDO, abriremos portas para descobertas surpreendentes e inesperadas.