Storage dla BIG data

Nieodłączną częścią naszej chmury publicznej jest dostęp do, utrzymywanego przez nas, jednego z największych w Europie repozytoriów zawierających dane obserwacji satelitarnych Ziemi.

Dostępne są tam między innymi dane z satelitów:

• Programu Copernicus:
  • Sentinel-1 (Radarowe),
  • Sentinel-2 (Optyczne, multispektralne),
  • Sentinel-3 (Meteorologiczne),
  • Sentinel-5p (Spektroskopowe – skład atmosfery),
  • Landsat,
  • Envisat,
  • Copernicus Services.
     
• Dane VHR (Very High Resolution) Dostarczane są przez satelity z Chin i Kazachstanu. Produkty wysokiej rozdzielczości dostępne są na zasadach komercyjnych i dostępne są jako:
  • Obrazy i produkty z archiwum
  • Obraz i produktowe zaplanowane
  • Klipy wideo w rozdzielczości 4K

Dane w naszym repozytorium dostępne są lokalnie, bezpośrednio z naszej publicznej chmury obliczeniowej, dodatkowo wzbogacone są o szeroki zestaw interface’ów (obiektowy S3, plikowy NFS, geoprzestrzenne OGC WMS/WMTS).
Dostęp do nich realizowany jest prawie natychmiast po pozyskaniu ich z satelitów (w przypadku Copernicus i Landsat) - automatycznie pobierane w minuty po publikacji i indeksowane. Obecnie dostępne jest  parędziesiąt PB danych obserwacyjnych. Repozytorium z dnia na dzień przyrasta średnio o 20TB.
Dzięki takim platformom jak CREODIAS i WEkEO dostarczanym przez nas, nie trzeba robić inwestycji i budować własnej infrastruktury, czy też pobierać danych do zewnętrznych platform przetwarzania.

Poniżej zestawienie kolekcji danych obserwacyjnych Ziemi dostępnych z naszej chmury publicznej.

 

Datasets	Products	Instrument	Locally Held
Sentinel-1A & Sentinel-1B	GRD	SAR C-BAND	Full archive
	OCN
	RAW		Last 6 month
	SLC		- Europe: full archive - Last 6 months / orderable
Sentinel-2A & Sentinel-2B	L1C	MSI	Full archive
	L2A		- Orderable */** - Cached ***
Sentinel-3A & Sentinel-3B	L1 SLSTR	SLSTR	Full archive
	L1 OLCI	OLCI
	L1 SRAL	SRAL
	L2 SLSTR (LST/WST)	SLSTR
	L2 OLCI	OLCI
	L2 SRAL	SRAL
Sentinel-5P	L1B	TROPOMI	Full archive
	L2 ****
Landsat-5	L1G, L1T, L1GT	TM	Coverage of Europe (1984-2011)
Landsat-7	L1G, L1T, L1GT	ET	Coverage of Europe (1999-2017)
Landsat-8	L1T, L1GT	OLI, OLI TIRS	Coverage of Europe
Envisat	L1	MERIS	Global (2002-2012)
SMOS	L1B, L1C, L2	MIRAS	Global (2010-present)
S2GL	-	-	Coverage of Europe (2017)

 

Datasets	Products	Data access
CAMS (Atmosphere)	All collections	Accessible over S3 or NFS protocol
CEMS (Emergency)	All collections	Accessible over S3 or NFS protocol
CLMS (Land)	All collections	Accessible over S3 or NFS protocol
CMEMS (Marine)	All collections	Accessible over S3 or NFS protocol

 

Datasets	Products	Instrument	Estimated locally held	Data access
DEM	Mapez	SRTM, others	Aggregation of several DEM sources	Accessible over S3 or NFS protocol
	SRTM	SRTM	Global (56S, 60N, 180W, 180E) February 2000	Accessible over S3 or NFS protocol
Jason-3	Altimeter	Altimeter	Since mission began	Accessible over S3 or NFS protocol

Komercyjne dane wysokiej rozdzielczości

 

Dataset	Product type	Spatial resolution	Revisit cycle	Spectral band
Jilin-1*	Optical	Panchromatic: 0,72 m Multi-spectral: 2,88 m Video: 0,92 m	3.3 days	Panchromatic: 612nm-794nm Blue: 457nm-526nm Green: 540nm-595nm Red: 628nm-688nm Simulated NIR: 700nm-800nm

 

Nasze repozytorium EO Data jest jedną z największych instancji storage’u sieciowego opartego na Ceph w Europie.