Universitätsbibliothek Wien

Performance evaluation of Sentinel-2 Earth observation data cube generation in the context of the EU Common Agricultural Policy

Brand, Stefan (2020) Performance evaluation of Sentinel-2 Earth observation data cube generation in the context of the EU Common Agricultural Policy.
Masterarbeit, University of Vienna. Fakultät für Geowissenschaften, Geographie und Astronomie
BetreuerIn: Riedl, Andreas

[img] PDF-File
Alle Rechte vorbehalten / All rights reserved

Download (5Mb)
DOI: 10.25365/thesis.64983
URN: urn:nbn:at:at-ubw:1-23017.09580.184460-1

Link zu u:search

Abstract in English

Among the EU policies the Common Agricultural Policy (CAP) has one of the biggest budget shares, most of which is distributed to farmers. In 2018 the member states’ paying agencies disbursed about 42 billion Euros of direct payments. In return the farmers commit to environmentally friendly farming practices and landscape conservation. (EU, 2020c) Compliance is monitored via On-The-Spot-Checks (OTSC), which is time-consuming and only allows for 5 % of farms being inspected. (Devos, Fasbender, Griffiths, et al., 2017, p. 4) This is where the Copernicus Program with its Sentinel-1 and -2 satellites comes in. In an effort to modernize the CAP and improve its efficiency the EU wants to move to Checks by monitoring (CbM) and do automatic compliance inspections of all agricultural parcels. CbM is facilitated by training a Machine Learning (ML) model using labelled satellite data. The ML model then classifies the agricultural parcels according to crop type and compares this computed crop type to the one declared by the farmer. Non-complying parcels are highlighted to the inspectors. Since satellite data can be considered big data there are some specific challenges involved. They can be mitigated by pre-processing these data into a data cube, which abstracts satellite images from a file-based format into a data structure that enables easy analysis. These so-called Earth observation data cubes are at the centre of this research. The aim was to contribute information about the resource usage of data cube generation because this aspect is largely unexplored at present. Program code to generate data cubes using the two applications Euro Data Cube Batch Processing and mapchete Hub was written and the performance of the two was measured and compared. During the experiments, optical Sentinel-2 satellite imagery of one to 8.5-months was processed into a data cube with half-monthly time slices covering 17,000 km². The hypothesis was that the commercial service Batch Processing can outperform the custom mapchete Hub, which is based on open-source software and developed by EOX IT services, the sponsor of this thesis. The experiments show that there is no clear winner in terms of size (mapchete Hub: 48.37 GiB; Batch Processing: 50.40 GiB) and storage costs (USD 1.185/USD 1.235) of the generated data cube. Also the processing time is similar up to the point where Batch Processing seems to hit a performance bottle neck and mapchete Hub is almost 50 % faster (1:24 vs. 2:03). Batch Processing’s abstract currency Processing Unit is generally expensive to buy with real money and therefore mapchete Hub succeeds in the processing costs category by far as well. The only drawback of mapchete Hub is that there is no pre-defined UTM grid available, so that the user has to define a custom grid. The advantage of Batch Processing’s optimized UTM tiling grid especially shows in the extrapolation scenario for Austria, which spans two UTM zones. In this scenario EDC Batch Processing comes first in regard to processing time (14 % faster than mapchete Hub) and storage size/costs (17 % lower). Still mapchete Hub’s processing costs are almost 200 times lower than Batch Processing’s. In conclusion, Batch Processing cannot outperform mapchete Hub in a business context due to its high processing costs. The results of the experiments allow for valuable insight into the performance of data cube generation and can be a reference for future work regarding tiling grids, optimizations for later data cube analysis and data cubes consisting of Sentinel-1 radar data.

Schlagwörter in Englisch

Earth Observation / Data Cube / Common Agricultural Policy / Sentinel-2 / Performance

Abstract in German

Die Gemeinsame Agrarpolitik (GAP) hat relativ zu den anderen EU-Politiken einen der größten Budgetanteile. Das meiste Geld wird von den Zahlstellen der Mitgliedsländer in Form von Direktzahlungen an die Bauern ausgezahlt (2018: EUR 42 Milliarden). Im Gegenzug verpflichten sich die Bauern zu umweltfreundlicher Bewirtschaftungsweise und Landschaftspflege. (EU, 2020c) Die Erfüllung der Vorgaben wird mit zeitaufwändigen Vor-Ort-Kontrollen überwacht, die nur eine Kontrolle von 5 % aller Höfe erlaubt. (Devos, Fasbender, Griffiths, et al., 2017, p. 4) Hier kommt das Copernicus-Programm mit seinen Sentinel-1- und -2-Satelliten ins Spiel. Um die GAP zu modernisieren und ihre Effizienz zu steigern, möchte die EU auf Checks by Monitoring (CbM) setzen und automatische Kontrollen aller Agrarflächen durchführen. Dies wird ermöglicht, indem ein Machine-Learning-Modell mit klassifizierten Satellitendaten trainiert wird. Das Modell klassifiziert dann wiederum Felder nach der darauf angebauten Kulturpflanze und vergleicht das Ergebnis mit den Angaben der Bauern. Nicht-übereinstimmende Agrarflächen werden genauer kontrolliert. Da Satellitendaten als Big Data erachtet werden können, gehen sie mit einigen spezifischen Herausforderungen einher. Diese können durch Vorprozessierung zu Datenwürfeln bewältigt werden. Satellitenbilder werden so von einem Datei-basierten Format in eine Datenstruktur abstrahiert, die eine mühelose Analyse ermöglicht. Die so genannten Erdbeobachtungsdatenwürfel bilden den Hauptfokus dieser Arbeit. Da der Ressourcenverbrauch der Generierung solcher Datenwürfel zurzeit fast unerforscht ist, war das Ziel, Informationen zu diesem Forschungsfeld beizutragen. Dafür wurde Programmcode zur Datenwürfelgenerierung mittels der beiden Anwendungen Euro Data Cube (EDC) Batch Processing (BP) und mapchete Hub (mHub) geschrieben und deren Performance gemessen und verglichen. Die Experimente umfassten die Prozessierung von optischen Sentinel-2-Satellitenbildaufnahmen über einen Zeitraum von einem bis 8,5 Monaten und einer Ausdehnung von 17.000 km² in einen Datenwürfel mit halbmonatigen Zeitschichten. Die Hypothese war, dass der kommerzielle BP-Dienst eine bessere Performanz als die individuelle mHub-Lösung bietet, die auf quelloffener Software basiert und von dem Unternehmen EOX IT Services entwickelt wird, dem Sponsor dieser Masterarbeit. Die Experimente zeigen, dass es bei der Speichergröße (mHub: 48,37 GiB/BP: 50,40 GiB) bzw. der -kosten (USD 1,185/USD 1,235) des generierten Datenwürfels keinen klaren Sieger gibt. Bis zu einem Performanz-Engpass von BP ist auch die benötigte Zeit ähnlich, danach ist mHub beinahe 50 % schneller (1:24/2:03). Die abstrakte Währung von BP ist im Allgemeinen teuer in Bezug auf reales Geld, wodurch mHub auch bei den Prozessierungskosten bei weitem voranliegt. Der einzige Nachteil von mHub ist das Fehlen eines vordefinierten UTM-Rasters, das daher selbst erstellt werden muss. Der Vorsprung des optimierten UTM-Kachelrasters von BP zeigt sich vor allem im Extrapolationsszenario für ganz Österreich, welches in zwei UTM-Zonen liegt. In diesem Szenario gewinnt EDC BP in den Kategorien Prozessierungszeit (14% Vorsprung) und Speichergröße/-kosten (17%). Dennoch kostet die Prozessierung mit mHub fast 200 Mal weniger. Letztendlich bietet BP in einem Geschäftsumfeld aufgrund seiner höheren Kosten keine höhere Performanz als mHub. Die Ergebnisse der Experimente erlauben wertvolle Einblicke in die Performanz der Datenwürfelgenerierung und können eine Grundlage für zukünftige Forschung bezüglich Kachelraster, Optimierungen für die Datenwürfelanalyse und Datenwürfel mit Sentinel-1-Rasterdaten sein.

Schlagwörter in Deutsch

Erdbeobachtung / Datenwürfel / Gemeinsame Agrarpolitik / Sentinel-2 / Performanz

Item Type: Hochschulschrift (Masterarbeit)
Author: Brand, Stefan
Title: Performance evaluation of Sentinel-2 Earth observation data cube generation in the context of the EU Common Agricultural Policy
Umfangsangabe: xv, 89 Seiten : Illustrationen, Diagramme, Karten
Institution: University of Vienna
Faculty: Fakultät für Geowissenschaften, Geographie und Astronomie
Studiumsbezeichnung bzw.
Universitätslehrgang (ULG):
Masterstudium Kartographie und Geoinformation
Publication year: 2020
Language: eng ... Englisch
Supervisor: Riedl, Andreas
Assessor: Riedl, Andreas
Classification: 74 Geographie, Raumordnung, Städtebau > 74.48 Geoinformationssysteme
74 Geographie, Raumordnung, Städtebau > 74.49 Kartographie: Sonstiges
AC Number: AC16206842
Item ID: 64983
(Das PDF-Layout ist ident mit der Druckausgabe der Hochschulschrift.)

Urheberrechtshinweis: Für Dokumente, die in elektronischer Form über Datennetze angeboten werden, gilt uneingeschränkt das österreichische Urheberrechtsgesetz; insbesondere sind gemäß § 42 UrhG Kopien und Vervielfältigungen nur zum eigenen und privaten Gebrauch gestattet. Details siehe Gesetzestext.

Edit item (Administrators only) Edit item (Administrators only)