Datascientist of data-engineer?

Dat is goed nieuws voor degenen die zich datascientist noemen. Er is echter wel een kanttekening bij te maken: bedrijven die op zoek zijn naar een datascientist, hebben vaak eigenlijk iemand anders nodig, en wel een data-engineer.

Datascientists zijn graag geziene gasten in teams die zich bezighouden met AI-projecten. De typische specialisatie van een datascientist is het analyseren van databronnen. Op basis van datasets die al beschikbaar zijn, kan een datascientist modellen bouwen die deze data analyseren, en voorspellingen maken voor de toekomst.

AI-tools zijn echter zelf al heel sterk in het bouwen van modellen die patronen ontdekken in datasets en daar waardevolle informatie uithalen. AI doet dat ook nog eens sneller dan mensen én op een manier die schaalbaar is.

Kerntaken

Een grotere uitdaging in AI-projecten, zoals ik in mijn vorige blog al aangaf, is toegang krijgen tot kwalitatieve datasets die nodig zijn om een businessprobleem op te lossen. Deze uitdaging is doorgaans de taak van een data-engineer: een T-shaped ontwikkelaar, die zowel kennis heeft van development als van de business in de breedte en dus in staat is snel te schakelen tussen verschillende disciplines.

In het typische functieprofiel van de data-engineer zijn vijf kerntaken te onderscheiden:

• Analyseren. Op basis van gesprekken met het ontwikkelteam en de stakeholders zet een data-engineer op papier waar een oplossing aan zou moeten voldoen (de requirements) en binnen welke randvoorwaarden.
• Ontwerpen. Vervolgens zorgt de data-engineer voor een beschrijving van de te realiseren dataoplossing die voldoet aan de eerder beschreven voorwaarden.
• Realiseren. Onder het realiseren van de dataoplossing valt onder meer het integreren van verschillende databronnen en het transformeren en optimaliseren van data.
• Visualisatie. Om ervoor te zorgen dat een oplossing ook daadwerkelijk bijdraagt aan bedrijfsdoelstellingen, is de data-engineer verantwoordelijk voor het presenteren van data op een aantrekkelijke en inzichtelijke manier en het promoten van de rol en waarde van data binnen de organisatie.
• Governance. Een data-engineer is ten slotte ook verantwoordelijk voor advies over datagovernancestructuren binnen de organisatie; denk aan het voldoen aan wet- en regelgeving en aan de richtlijnen van de eigen organisatie. Hieronder valt ook de verantwoordelijkheid voor de kwaliteit en integriteit van data.

Er zit wel degelijk overlap tussen de verantwoordelijkheden van de datascientist en data-engineer: zo zal de eerste zich ook bezighouden met analyseren, ontwerpen en realiseren van dataoplossingen. Het grote verschil zit in de strategische rol die een data-engineer heeft. De ‘typische’ scientist is eigenlijk klaar na het opleveren van het model, terwijl de engineer nog een stapje verder gaat totdat de daadwerkelijke businesswaarde is behaald. Ten slotte zorgt een data-engineer er ook voor dat de juiste datasets structureel beschikbaar zijn voor een AI-oplossing en dat deze voldoen aan externe en interne wet- en regelgeving.

Niet eenvoudig

Het profiel van de data-engineer is dan ook niet heel eenvoudig te vinden. Het gaat om een professional met een aantal vaardigheden die een datascientist ook heeft, plus de skills van een T-shaped ontwikkelaar. Het werk dat een data-engineer levert is echter wel veel schaalbaarder dan dat van de datascientist, waardoor er in de praktijk ook minder van nodig zijn.