Leer in 10 minuten
- Wat de risico’s zijn van data delen op de traditionele manier
- Hoe je op een beheersbare en veilige manier je klanten, leveranciers en andere externe partijen voorziet van relevante informatie
- Welke belangrijke aandachtspunten je op moet letten bij het delen van data met een moderne data-architectuur
Het veilig en op maat beschikbaar maken van data voor externe partijen – zoals klanten, leveranciers en toezichthouders – is voor veel organisaties van cruciaal belang. Door de traditionele methode van data delen, is het echter vaak lastig voor organisaties om de juiste informatie te delen en te beheren wie toegang heeft tot welke data. In dit blogartikel leggen we uit wat de risico’s zijn van data delen op de traditionele manier. Vervolgens vertellen we hoe je het delen van data slimmer kunt organiseren binnen én buiten je organisatie en hoe je dat in praktijk brengt met een moderne data-architectuur.
Organisaties gebruiken data steeds intensiever, meer wijdverspreid en op veel nieuwe manieren. Ze zijn hard op weg om meer als datagedreven organisaties te opereren. Dit heeft geleid tot een grote verandering: het datagebruik is veranderd. Traditionele vormen van datagebruik, zoals rapportages en dashboards, zijn niet meer toereikend. Tegenwoordig zoeken organisaties veel meer verdieping en verbreding met hun data, waarbij vormen zoals self service analytics en data science steeds populairder worden.
Ook aandeelhouders, leveranciers, klanten, toezichthouders en wetgevende instanties vragen of eisen steeds meer informatie van je organisatie. Traditioneel gaat het delen van data met externen via het aanbieden of versturen van fysieke datasets, zoals spreadsheets en documenten. Organisaties maken kopieën van de data die ze intern bezitten en delen die met externen. Die kopieën worden ook in een externe omgeving opgeslagen, waardoor binnen en buiten de organisatie al snel talloze versies van datasets ontstaan. Dat zorgt niet alleen voor fouten en miscommunicatie over data, maar het verhoogt ook het risico dat je organisatie loopt op het gebied van data governance, security en data privacy. Vragen over herkomst en gebruik van data moeten snel en betrouwbaar beantwoord kunnen worden en dat is met de traditionele manier van werken praktisch onmogelijk.
De traditionele manier van data delen
Daarnaast is het zogenoemde ‘data delen’ (data sharing) niet meer zo eenvoudig als tien jaar geleden, omdat de vraag naar informatie vanuit externe partijen fors is toegenomen én de behoeftes in datagebruik en verschijningsvorm (ongestructureerd, gestructureerd, onveranderlijk etc.) per externe stakeholder sterk verschillend zijn. Waar je sommige partijen de ruimte wilt geven om bepaalde delen van je data zelf te analyseren, wil je andere externen juist duidelijke restricties geven. Je wilt data op een slimme manier bruikbaar en toegankelijk maken voor iedere doelgroep, zodat ze informatie tot hun beschikking hebben die voor hen relevant is. Dat blijkt in de praktijk vaak nog best lastig.
De bestaande data-architecturen, waarbij data veelvuldig wordt gerepliceerd en opgeslagen, zijn niet meer toereikend om data veilig, getransformeerd en op maat aan te bieden voor verschillende externe stakeholders. Het waarborgen van data governance, security en data privacy binnen de bestaande data-architectuur zorgt voor toenemende complexiteit en hogere ontwikkel- en onderhoudskosten. Bovendien neemt het risico op fouten steeds meer toe en wordt het alsmaar lastiger die fouten te lokaliseren en op te lossen.
Hoe kan het slimmer?
Kort gezegd: data delen tussen je eigen organisatie en externe partijen is de afgelopen decennia dusdanig ontwikkeld, dat het een apart domein is geworden dat een eigen aanpak vereist. De behoefte binnen organisaties groeit om klanten, leveranciers en andere externe partijen op een beheersbare en veilige manier te ondersteunen. En je wilt niet alleen voldoen aan de vraag van externen, maar ook uitleggen, inzicht geven en informatie verrijken met analyses en visualisaties die oorzaken en verbanden blootleggen.
Maar hoe zorg je daarvoor? Dat kan met een moderne data-architectuur waarbij de focus ligt op het ‘live’ aanbieden van de juiste data in plaats van het klaarzetten en opsturen van data. Deze moderne data-architectuur onderscheidt zich op twee belangrijke punten van het traditionele data warehouse. Zo’n platform is allereerst ‘designed for the cloud’ en maakt optimaal gebruik van alle functionele en technische mogelijkheden van het gebruikte cloud platform. Daarnaast wordt er gebruik gemaakt van datavirtualisatie voor het minimaliseren van datareplicatie en maximale ontkoppeling van data en logica.
De combinatie van een cloud platform en datavirtualisatie maakt het mogelijk om principes, zoals data op maat aanbieden, dataminimalisatie, slim koppelen, en het meervoudig gebruik van data bij enkele vastlegging van business rules, te kunnen realiseren. Data delen met bijvoorbeeld klanten, leveranciers of ketenpartners wordt hiermee beheersbaar en biedt nieuwe kansen en mogelijkheden. Denk bijvoorbeeld aan optimalisatie van de (logistieke) keten, doordat ketenpartners die direct inzicht hebben in jouw logistieke proces en zo beter kunnen inschatten wanneer ze producten moeten leveren of ontvangen. En dat zonder toenemende complexiteit of risico’s. Bovendien maakt een moderne data architectuur het mogelijk om ‘data delen’ als zelfstandig domein te administreren, te configureren, transparant te verantwoorden en te monitoren.
Data direct live beschikbaar
De technologie is er klaar voor: data hoeft niet langer geprepareerd te worden tot een fysieke dataset die door de afnemer wordt opgeslagen in zijn omgeving. Binnen de moderne data-architectuur bestaat er slechts één fysieke versie van de data. Die versie wordt met datavirtualisatie ‘live’ in verschillende vormen getransformeerd en via verschillende protocollen aangeboden aan externe partijen. Deze externen kunnen de data direct consumeren, waarbij ze gebruik maken van de rekenkracht en schaalbaarheid van jouw cloud database. Het onderliggende cloud platform zorgt ook bij grote datavolumes voor de gewenste performance. Resources kunnen ieder moment worden op- of afgeschaald.
Aan de hand van een aantal voorbeelden laten we zien welke hoe je met het datavirtualisatieplatform Denodo en het cloud platform Snowflake snel, veilig en op maat data kunt delen:
Denodo
- Rolgebaseerde toegang tot data en on-the-fly toepassing van data maskering, anonimisatie etc. Hierdoor is het mogelijk om dezelfde dataset aan verschillende doelgroepen met elk hun eigen rechten aan te bieden. Afhankelijk van de rechten, krijgen de afnemers alles te zien, een selectie te zien van regels en/of kolommen of bijvoorbeeld een geanonimiseerde versie van de data.
- Ontkoppeling bij publicatie en presentatie van data met een ongekende flexibiliteit in de wijze van presentatie van data; webservice, dataset, view etc. Een fysieke dataset kan eenvoudig worden aangeboden in verschillende technische verschijningsvormen. Zo kunnen verschillende afnemers de data afnemen op de manier die het beste past bij hun technische omgeving en het gewenste gebruik.
- Data Catalog voor inzicht van de aanwezige datasets en bronnen en transparantie van de toegepaste transformaties en integratielogica. Dit maakt het mogelijk om duidelijk te omschrijven wat de data betekent, waar deze vandaan komt en welke bewerkingen erop zijn toegepast. Data wordt transparanter en voor afnemers is het beter te begrijpen welke dataset ze nodig hebben.
Snowflake
- Een Data Marketplace voor het gebruiken van publieke data en het koppelen van eigen data. Hiermee is het niet alleen eenvoudig om data direct aan een breed publiek aan te bieden, ook kan je als aanbieder je data als product in de marktkraam zetten.
- Secure Data Sharing-features voor het veilig en gecontroleerd delen van data. Deze technologie kan gebruikt worden om data gericht te delen met een aantal partners. De data is na het delen direct zichtbaar binnen de Snowflake-omgeving van die partners en kan worden benaderd alsof de data in de cloud database van de partner staat.
Het gaat te ver om een uitputtende lijst van features te benoemen maar het laat zien dat nieuw technologie kansen biedt die in een traditionele data-architectuur te complex zijn om te realiseren.
Belangrijkste aandachtspunten
Een moderne data-architectuur heeft veel te bieden voor organisaties die veel informatie delen aandeelhouders, leveranciers, klanten, toezichthouders en wetgevende instanties. Het wordt echter alleen een succes met goede data governance: bepaal vooraf duidelijke regels en zorg ervoor dat die nageleefd worden. Let op! Data delen moet eenvoudig zijn voor zenders, ontvangers en gebruikers. Daarom hebben we vier belangrijke aandachtspunten op een rij gezet waar je aan moet denken als je voor gebruikersgemak bij externen wilt zorgen.
1. Geef inzicht en overzicht
Maak optimaal gebruik van de beschikbare instrumenten die een datavirtualisatieplatform te bieden heeft en presenteer informatie- en dataproducten in een data catalog die overzichtelijk is ingedeeld. Zo stimuleer je het gemeenschappelijk gebruik van waardevolle data door de hele organisatie en bij externen. Daardoor vergoot je de bruikbaarheid van data en voorkom je inconsistenties door verschillende interpretaties en presentatie van data. Hoe je dit goed organiseert en ondersteunt met een centraal datamodel lees je in dit blogartikel: Het centrale datamodel als fundament voor data governance
2. Focus op inhoud van data
Zorg dat je inhoud en vorm gescheiden houdt. Bepaal vooraf welke informatie-domeinen en welke gebruikersgroepen wat met welke data mogen doen. De technische verschijningsvorm van de data (view, webservice, dataset etc.) is een variabele keuze. Door hiervan bewust te zijn, voorkom je dat je de vorm meeneemt bij je keuze hoe de inhoud van de data en de databeveiliging tot stand moeten komen.
3. Data ‘on-demand’
Voorkom dat je data moet kopiëren en repliceren en vermijd daarnaast een aanpak waarbij je datasets ’s nachts met batch-jobs genereert. Gebruik de essentiële functionaliteit die datavirtualisatie te bieden heeft: efficiënte selectie met passende performance van data, toegesneden op de vraag die wordt gesteld door de applicatie of gebruiker. Faciliteer dit door bijvoorbeeld een dataloket in te richten waar gebruikers data kunnen halen of data services kunnen configureren naar hun behoefte.
4. Pas dataminimalisatie toe
Doe alleen wat nodig is en laat vooral alles wat overbodig. De moderne data-architectuur is bij uitstek geschikt voor het toepassen van dataminimalisatie. Daarmee beperk je zo veel mogelijk het verwerken en kopiëren van gegevens en deel je alleen de data deelt die echt nodig is. Je kiest er dus voor om niet meer complete tabellen met data te delen, maar alleen de kolommen die relevant zijn voor de afnemer en geen gevoelige informatie bevatten. Zie voor meer praktijkvoorbeelden van dataminimalisatie dit artikel: Dataminimalisatie in de praktijik
Tot slot
Data delen op de traditionele manier is voor veel organisaties niet langer vol te houden. Het leveren van relevante informatie aan klanten, leveranciers, aandeelhouders en wetgevende instanties vraagt om een eigen aanpak. Door te kiezen voor een moderne data-architectuur, verklein je de complexiteit en ondersteun je het delen van data op een beheersbare en veilige manier. De vraag is dus niet óf je er mee begint, maar eerder wanneer.
Wat kan het jouw organisatie opleveren als je data gaat delen met een moderne data-architectuur?