Archiefdata KNMI naar SURF

Het KNMI bewaart een groot deel van zijn data voortaan bij SURF. De gegevens, verkregen uit meetstations, radars, satellieten en modellen zijn essentieel voor de dagelijkse werkzaamheden van het instituut. In de loop van een half jaar zijn 6 petabytes aan data gereorganiseerd en verhuisd.

Het Koninklijk Nederlands Meteorologisch Instituut (KNMI) in De Bilt bewaart sinds begin jaren ’90 zijn data, gegenereerd door onder meer weer- en klimaatmodellen en ander onderzoek, op tapes.  De capaciteit, het management en de toegankelijkheidopties van dit zogeheten massaopslagsysteem (MOS) zijn de afgelopen decennia diverse malen geüpgraded.

Gijsbert Kruithof, data-architect bij het KNMI: “Vanwege de alsmaar groeiende hoeveelheid data en om deze gegevens op een toekomstbestendige wijze te bewaren, heeft het KNMI de opslag van de data nu aan SURF uitbesteed. Het SURF Data Archive is de ideale plek om de archiefdata van het KNMI te huisvesten.”

In de archiefdienst Data Archive worden waarnemings-, meet- en onderzoeksdata die niet meer actief worden gebruikt veilig en langdurig opgeslagen. Voor overige data, zoals gegevens die voor individueel gebruik snel toegankelijk en eenvoudig deelbaar dienen te zijn, gebruikt het KNMI de opslagdiensten SURFdrive en Research Drive.

Speciale netwerkverbinding

Gedurende een half jaar zijn in totaal bijna 150 miljoen bestanden met een omvang van 6 petabytes (6000 terabytes) naar het datacentrum van SURF in Amsterdam gemigreerd. Een deel is gereorganiseerd om de efficiëntie van opslag te vergroten en via een speciale netwerkverbinding (SURFlichtpad) verzonden. Een ander deel is op een tapekopie per koerier verstuurd.

Hans van Piggelen, data-adviseur bij SURF: “De verhuizing was een flinke klus. Niet alles was zomaar één-op-één over te zetten naar de nieuwe bestemming, onder meer door de minimale bestandsgrootte die SURF vereist. Door bestanden samen te voegen en persoonlijke bestanden in SURFdrive onder te brengen, hebben we samen met het KNMI het aantal bestanden verminderd tot bijna een tiende, en 6% van de data opgeschoond.”

Sinds 1 november 2021 werkt het KNMI vrijwel volledig met het SURF Data Archive voor het langdurig opslaan van onderzoeksdata. Het duurt nog een paar maanden om alle binnengekomen tapes te migreren naar die van het data-archief. Als dat is afgerond, kan het MOS definitief uit.