De energietransitie brengt behalve kansen ook uitdagingen met zich mee, zoals de overbelasting van het stroomnet. Met behulp van AWS en Snowflake zet energielerancier Alliander een schaalbaar datawarehouse in om de energiedoelen van 2030 te behalen en efficiënter om te gaan met geodata voor een duurzamer netwerk.
De energietransitie is in volle gang en verandert het landschap van onze energievoorziening ingrijpend. Zonnepanelen sieren steeds meer daken, windparken verrijzen in verschillende regio’s, en elektrisch vervoer groeit explosief. Deze ontwikkelingen zijn veelbelovend, maar de overgang naar een duurzame energievoorziening brengt ook grote uitdagingen met zich mee. Het stroomnet raakt overbelast door de sterke toename van duurzame energiebronnen en de warmtetransitie vraagt om innovatieve oplossingen.
Een van die innovatieve oplossingen is om efficiënter om te gaan met informatie over het netwerk van Alliander. Alliander heeft grote hoeveelheden geodata over kabels en kaartlagen en wil deze centraal beschikbaar maken via een schaalbaar datawarehouse. Met AWS en Snowflake hebben we een efficiënt datawarehouse opgezet, waardoor diverse teams eenvoudig toegang hebben tot domeinspecifieke dataproducten. De datatransitie naar de AWS cloud ondersteunt Alliander om de energiedoelen van 2030 te behalen.
Over Alliander
Alliander N.V., een toonaangevend Nederlands netwerkbedrijf, heeft een erfenis die meer dan een eeuw bestaat. Met een focus op het distribueren van energie (elektriciteit en gas) aan miljoenen klanten, streeft Alliander naar betrouwbare, duurzame en toegankelijke energiediensten. Met een aanwezigheid in verschillende regio's in Nederland, innoveert het bedrijf voortdurend om aan de veranderende energievraag van huishoudens, bedrijven en publieke instellingen te voldoen.
Energiedoelen van 2030
Deze veranderende energievraag gaat hand in hand met het behalen van de energiedoelen van 2030. Nederland streeft naar een vermindering van de CO2-uitstoot met 49% ten opzichte van 1990 en een overgang naar een volledig duurzame energievoorziening. Alliander heeft als missie om deze doelstellingen te halen door te investeren in slimme netwerken en technologieën die bijdragen aan een duurzamer en efficiënter energiebeheer.
Allianders datatransitie naar de cloud speelt een cruciale rol bij het:
Monitoren van de voortgang richting de energiedoelen van 2030.
Optimaliseren van de integratie van hernieuwbare energiebronnen, zoals zonne- en windenergie.
Verbeteren van de energie-efficiëntie en het verminderen van verliezen in het distributienetwerk.
Uitdaging: integratie van datasystemen
Allianders ambitie om efficiëntie en datagedreven besluitvorming te stimuleren werd belemmerd door het bestaan van meerdere datasystemen op hun lokale servers. Elk systeem genereert enorme hoeveelheden data, die op lokale servers in afzonderlijke silo's zoals SAP HANA werden opgeslagen, waardoor het moeilijk was om grote datasets bij te laden en inzichten te krijgen.
Het doel van de energietransitie werd snel duidelijk: Alliander wilde een geoptimaliseerde plek waar alle data samenkomt, waarmee ze automatisch en up-to-date inzichten kunnen creëren. Waarom? Om efficiënter én voorspelbaarder te werken.
Onze aanpak
In samenwerking met Incentro is Alliander erin geslaagd om een centraal dataplatform te creëren. Door nauwe samenwerking en afstemming van wensen konden de juiste technologieën op precies de juiste plek worden toegepast. Dit vertaalde zich in een slim en gebruiksvriendelijk datawarehouse om geo-data weer te geven.
De inzet van de collega's van Incentro is van onschatbare waarde geweest voor onze transitie naar AWS en Snowflake.
Een datawarehouse met AWS en Snowflake
De opdracht was duidelijk: één datahub met alle geodata creëren. Om deze uitdagingen aan te gaan, hebben we besloten om zowel AWS als Matillion te gebruiken om een Snowflake datawarehouse op te zetten binnen de omgeving van Alliander. AWS in combinatie met Matillion maakt het gemakkelijk om bronnen te ontsluiten en gegevens op te halen. Daarnaast kunnen we naadloos gebruikmaken van de diverse services binnen de AWS Cloud.
Dataverwerking met Matillion
Matillion, een Software as a Service (SaaS), biedt gebruikers vooraf gebouwde dataconnectoren om ETL en orchestratie van data te realiseren. De keuze voor AWS was logisch, gezien het feit dat Alliander deze technologie al in huis had en de clouddiensten een goede integratie met Snowflake hebben. De synergie tussen beide platforms stelt ons in staat om een efficiënt datawarehouse in Snowflake te bouwen, waarbij Matillion de AWS database uitleest en de gegevens injecteert in Snowflake.
Vanaf dit punt is de data beschikbaar voor de vele teams! Diverse teams kunnen deze data benaderen zonder dat de achterliggende processen beïnvloed worden. Dit komt doordat er een data mesh principe wordt gehanteerd binnen de Snowflake datawarehouse.
Door het gebruik van AWS en Snowflake hebben we een schaalbare oplossing kunnen creëren waar diverse afnemers op een efficiënte manier data kunnen ophalen.
Data mesh-architectuur
Bij het creëren van een moderne data-infrastructuur voor Alliander, volgden we een aantal belangrijke stappen voordat we beginnen met de daadwerkelijke implementatie. In plaats van een traditioneel datawarehouse, is de keuze gemaakt voor een data mesh architectuur.
Data mesh is een moderne data-architectuur die data gedistribueerd en domeinspecifiek beheert. Het verlegt de verantwoordelijkheid van gecentraliseerde datateams naar domeinteams die de data produceren. Deze aanpak zorgt ervoor dat data productgericht wordt beheerd binnen Snowflake, wat leidt tot een meer flexibele en schaalbare oplossing. Zeker in een grote organisatie waarborgt dit de kwaliteit van de data producten.
Data delen binnen seconden
Om de data mesh architectuur effectief te ondersteunen, maken we gebruik van Snowflake. Snowflake biedt een schaalbaar en flexibel platform dat perfect aansluit bij de principes van data mesh. Snowflake's cloud-gebaseerde datawarehousing en analytische capaciteiten zorgen ervoor dat we moeiteloos binnen seconden kunnen opschalen naarmate de volumes toenemen. Daarnaast is het met Snowflake erg eenvoudig en veilig om data te delen tussen verschillende domeinen en teams, zonder complexe ETL-processen. Ideaal voor een data mesh architectuur!
Datagedreven innovatie
Door te kiezen voor een data mesh architectuur in combinatie met het gebruik van de schaalbaarheid van Snowflake, leggen we de basis voor een toekomstbestendige data-infrastructuur voor Alliander. Deze aanpak zorgt ervoor dat Alliander niet alleen in staat is om aan de huidige geodata-eisen te voldoen, maar ook flexibel genoeg is om toekomstige uitdagingen en duurzame groei aan te kunnen.
Snowflake stuwt de energietransitie vooruit
Dankzij de data mesh-architectuur in Snowflake is het voor dataconsumenten bij Alliander eenvoudiger en efficiënter geworden om toegang te krijgen tot relevante data. De gedistribueerde aanpak zorgt ervoor dat data in domeinen wordt beheerd, waardoor gebruikers sneller toegang hebben tot de meest actuele en nauwkeurige data. Hierdoor kunnen dataconsumenten en de business zich volledig richten op het verkrijgen van de benodigde informatie, zonder zich te hoeven bezighouden met de complexiteit van de onderliggende infrastructuur. Dit leidt tot snellere besluitvorming, dankzij dagelijkse nieuwe inzichten, zoals een gedetailleerd overzicht van kaartlagen per regio.
Met geavanceerde data-analyse en voorspellende modellen kunnen dataconsumenten proactief inspelen op veranderingen in de energievraag en -aanbod. Hierdoor wordt de transitie naar een duurzame toekomst versneld. Het data mesh platform stelt gebruikers in staat om efficiënter te werken en beter voorbereid te zijn op toekomstige uitdagingen, wat uiteindelijk een significante bijdrage levert aan de energiedoelen van 2030.
Hulp nodig bij het kiezen van het juiste platform?
Als je nog steeds twijfelt over welk platform het beste past bij jouw specifieke behoeften of als je wilt sparren met een expert over jouw data warehousing-strategie, aarzel dan niet om contact op te nemen met ons datateam. We staan klaar om je te helpen bij het nemen van de juiste beslissing voor jouw organisatie.
