Dataproduct

Visuele voorstelling van een data product. Bijv. Conchalí Product Exports (2020)

In datamanagement en productmanagement is een dataproduct een herbruikbare, actieve en gestandaardiseerde data-asset dat is ontworpen om meetbare waarde te leveren aan de gebruikers, zowel intern als extern, door de strikte principes van productdenken en -management toe te passen. Het bestaat uit een of meer data-artefacten (bijv. datasets, modellen, pipelines) en is verrijkt met metadata, waaronder governancebeleid, datakwaliteitsregels, datacontracten en, indien van toepassing, een Software Bill of Materials (SBOM) om de afhankelijkheden en componenten ervan te documenteren. Het eigendom van een dataproduct is afgestemd op een specifiek domein of use case, wat zorgt voor verantwoording, beheer en de continue ontwikkeling ervan gedurende de hele levenscyclus. Een dataproduct is ontworpen om vindbaar, schaalbaar, herbruikbaar en afgestemd te zijn op zowel bedrijfs- als regelgevingsnormen, wat innovatie en efficiëntie in moderne data-ecosystemen stimuleert.

Geschiedenis

In 2012 stelde DJ Patil de eerste gedocumenteerde definitie voor: een dataproduct is een product dat een einddoel faciliteert door het gebruik van data.

In 2019 introduceerde Zhamak Dehghani het Data Mesh-concept, met een sterke focus op domeingerichte dataproducten. Later, in 2020, consolideerde ze Data Mesh rond vier principes, waaronder Data as a Product. Hierin definieert ze een dataproduct als het knooppunt in het mesh dat drie structurele componenten (data en metadata, code en infrastructuur) omvat die nodig zijn voor zijn functie en die toegang biedt tot de analytische data van het domein als een product.

In 2024 publiceerde Andrea Gioia een van de eerste boeken specifiek over dataproducten na de aankondiging van Data Mesh. In zijn boek definieert Gioia het concept van een puur dataproduct.

In 2025, tijdens de Data Day Texas-conferentie, kwamen Jean-Georges Perrin en een collectief van productmanagers en data-engineers bijeen om de huidige definitie te formuleren en beschikbaar te stellen aan het publiek domein.

Karakteristieken

Een dataproduct is ontworpen om vindbaar, schaalbaar, herbruikbaar en afgestemd te zijn op zowel bedrijfs- als regelgevingsnormen, wat innovatie en efficiëntie in moderne data-ecosystemen stimuleert. Essentiële kenmerken van een dataproduct zijn:

1. Ontdekbaarheid: Dataproducten moeten gemakkelijk vindbaar zijn. Idealiter worden zij gepubliceerd in een catalogus of register waarin gebruikers kunnen zoeken en navigeren. Om het terugvinden te vergemakkelijken, dienen ze vergezeld te gaan van aanvullende informatie (metadata) zoals het domein, de eigenaar, gegevensafstamming (lineage) en kwaliteitsindicatoren.
2. Adresseerbaarheid: Elk dataproduct moet een permanente en unieke identificatie hebben volgens gestandaardiseerde naamgevings- en adresseringsconventies. Deze unieke adressen maken geautomatiseerde en consistente toegang tot gegevens mogelijk voor alle gebruikers.
3. Begrijpbaarheid: Na ontdekking is het essentieel dat gebruikers het dataproduct kunnen begrijpen. Dit vereist adequate documentatie, inclusief een goed beschreven dataschema met semantiek en syntaxis. Duidelijke beschrijvingen vergemakkelijken het zelfbedienend gebruik van data.
4. Vertrouwbaarheid en Waarheidsgetrouwheid: Vertrouwen in een dataproduct overstijgt vindbaarheid en begrijpelijkheid. Het vertrouwen wordt versterkt door naleving van overeengekomen service level objectives (SLO's), zoals: Frequentie van updates en actualiteit, Volledigheid, Beschikbaarheid en prestaties en Herleidbaarheid van gegevens (lineage).
5. Toegankelijkheid: De bruikbaarheid van een dataproduct hangt af van de mogelijkheid om het te benaderen met de gebruikelijke tools van de eindgebruiker. Data-analisten verwachten bijvoorbeeld SQL-toegang voor rapportages, terwijl data scientists vaak werken met bestandsstructuren voor AI-modellen.
6. Interoperabiliteit en Compositie: Dataproducten moeten onderling combineerbaar zijn. Dit vereist gestandaardiseerde metadata, gegevensstructuren en typeconventies, zodat domeinoverstijgende samenstelling en hergebruik mogelijk wordt.
7. Waarde: De waarde van een dataproduct komt pas tot uiting wanneer het daadwerkelijk gebruikt wordt voor het verbeteren van bedrijfsresultaten. Ze kunnen zelfstandig waarde leveren of gecombineerd worden met andere producten voor meerwaarde.
8. Veiligheid: Dataproducten moeten veilig zijn. Dit betreft toegangsbeheer, eigenaarschap en robuuste governance. Er moet controle zijn over wie toegang heeft, in welke context, hoelang data worden bewaard en welke mate van vertrouwelijkheid van toepassing is.

Voorbeelden

Logo data.gov.sg, het open data portaal van Singapore

• data.gov.be met als voorbeeld data van de Nationale Bank van België met een “Overzicht van de economische kerncijfers per bedrijfstak en sector, zoals toegevoegde waarde en werkgelegenheid”
• data.europe.eu
• Datasets op Hugging Face
• Research datasets via Google Research

Succes

Een onderzoek van Confluent in 2024 bevestigt het succes. 72% van de respondenten geven aan dat een dataproduct-benadering voordelen opleveren. En 98% stelt dat dataproducten leiden naar betrouwbaarder datadelen tussen bedrijfsonderdelen. Tot slot stelt 90% dat ze bijdragen aan beter risicomanagement en 91% stelt dat kost allocatie beter is door gebruiksstatistieken.