Arhis-company-logo

QU'EST-CE QU'UNE DATA PLATFORM ?

stacks-of-multi-coloured-shipping-containers-2023

Débloquer le potentiel de vos données

Les données sont souvent silotées dans des applications métiers. La Data Platform permet de les valoriser en les connectant entre elles au sein de différents domaines. Les données se transforment véritablement en « assets », rendant ainsi l’entreprise « data-centric ».

Un écosystème qui privilègie l'accès à des données riches et dignes de confiance

Une maitrise des données:sécurité, observabilité et compliance

La data comme asset pour optimiser l'activité et développer de nouvelles pratiques

La plateformisation, basée sur une architecture centralisée, se construit autour de workspaces et permet de dépasser la logique des « use cases » métiers pour rendre chacun maître de ses objectifs. La donnée devient un « produit » disponible et fiable.

La plateforme permet une maîtrise des données :

  • Fiabilisation des données
  • Vision 360° des données
  • Accessibilité et partage des données

Mais aussi leur gouvernance :

  • Monitoring et observabilité des données
  • Traçabilité et sécurité des données
  • Respect des contraintes réglementaires : RGPD, etc.
Schéma-Data-Platform
Data sharing et marketplace
Schéma-Data-Platform
Data sharing et marketplace

La plateformisation, basée sur une architecture centralisée, se construit autour de workspaces et permet de dépasser la logique des « use cases » métiers pour rendre chacun maître de ses objectifs. La donnée devient un « produit » disponible et fiable.

La plateforme permet une maîtrise des données :

  • Fiabilisation des données
  • Vision 360° des données
  • Accessibilité et partage des données

Mais aussi leur gouvernance :

  • Monitoring et observabilité des données
  • Traçabilité et sécurité des données
  • Respect des contraintes réglementaires : RGPD, etc.
Database Floating Squares 3 layers
Warehouse et Workspace
Machine Learning

3 couches de données

La plateforme est un hub qui ingère en entrée et propage en sortie des données après leur transformation. On distingue classiquement 3 « layers » dans le processus de traitement des données :

  1. Le stockage, autrement appelé Bronze layer. Le choix d’une couche dédiée au stockage des données, séparée du processing, permet de stocker la valeur dans son format brut. Cette approche offre le maximum de souplesse en termes de types d’ingestion (streaming ou batch), d’une part, et de scalabilité, d’autre part. Cet espace, enfin, est sécurisé au niveau des accès, le plus souvent réservés aux responsables techniques.
  2. Le traitement, ou Silver layer. Il contient une version validée et enrichie des données avec un niveau de confiance élevé. Il est obtenu via des opérations de transformation, jointure, agrégation et mise au format, réalisées avec des frameworks orientés traitement (traitements parallèles, etc.). Les données sont requêtables par les langages les plus courants : SQL, Python, etc.
  3. Le niveau de présentation des données, ou Gold layer. Les données doivent ici être des informations utilisables pour les finalités attendues de la plateforme : l’analytique, le ML ou la donnée comme produit. Les utilisateurs finaux interagissent avec les données selon leur propre langage de requête ou à travers des interfaces ou applications.
  4.  
  1.  

La Data Centricity

La Data Platform vise à centraliser l’ensemble des données de l’entreprise : de référencielles, transactionnelles et comportementales. Un certain nombre de pipelines et de processus automatisés sont mis en place pour :

  • Respecter des formats d’entreprise (BOM, format pivot) et, plus généralement, adopter une logique de catalogue.
  • Consolider les transactions et les données comportementales autour des objets métiers.
  • Définir des ensembles de données autonomes et spécifiques, workspaces ou warehouses, conservés et gérés par des équipes expertes de leur domaine.
  • Calculer des indicateurs dédiés au sein de ces workspaces pour combiner expertise, performance et responsabilisation des utilisateurs finaux.
  • Gérer précisément les droits d’accès aux données et instaurer une logique
    « Finops » afin de sécuriser et responsabiliser la consommation des données.
engineers working on data center
Le Data Mesh

Datawarehouse, Machine Learning et Fronts Digitaux

Une Data Platform est un cadre intégré qui vise à regrouper les fonctionnalités d’un data lake, d’un data warehouse et d’un data hub. Elle répond aux besoins analytiques, de Data Science ainsi qu’aux services opérationnels.

  • La Data Platform remplace les anciens data warehouses en ajoutant la scalabilité et la capacité à absorber différents formats de données, notamment les données semi-structurées (JSON, etc.) et même non structurées. Des traitements spécifiques sont appliqués pour préparer les données aux outils de Data Visualisation.
  • Les Data Platforms intègrent un espace et des fonctionnalités de Data Science, et proposent des modèles de Machine Learning partageables, qui peuvent être ajustés (tunés) selon les besoins de l’entreprise.
  • Ces plateformes sont ouvertes aux utilisateurs métiers à travers des workspaces dédiés, et vers l’extérieur, supportant le développement de fronts digitaux ou l’intégration avec des marketplaces, permettant de valoriser les données de l’entreprise (ou de bénéficier de données ou développements proposés par d’autres).
Data platform organization
IA et Gouvernance de la donnée
IA Générative

Découvrez nos contenus Data !

Comment construire une architecture Data-Centric ?

Nos interviews clients

notre ambition est de mettre en place des solutions innovantes qui répondent à vos impératifs métiers.

Ch

Genève

Rue de l'Arquebuse, 22
CH1204, Genève

contacts@arhis.com
Voir l'adresse
Fr

Paris

61 Boulevard Haussmann,
75008 Paris

contacts@arhis.com
Voir l'adresse
Fr

Lyon

94 Avenue Felix Faure
69003 Lyon

contacts@arhis.com
Voir l'adresse
Fr

Toulouse

32 Rue Pierre Paul Riquet,
31000 Toulouse

contacts@arhis.com
Voir l'adresse
Fr

Bordeaux

39 Avenue du Médoc,
33320 Eysines (Gironde)

contacts@arhis.com
Voir l'adresse
es

Valencia

Gran Vía del Marqués del Turia, 49
46005 Valencia

contacts@arhis.com
Voir l'adresse

Copyright 2020 | All rights Reserved | ARHIS | Web created by OR Design

Data sharing et marketplace

Dès lors que la meilleure version des données est centralisée, le partage de ces données doit être pensé spécifiquement comme un service. Il s’agit d’associer des outils de consommation des données avec une gouvernance stricte des accès. La mise en place d’une marketplace est une réponse qui satisfait autant le besoin de collaboration interne que la publication, voire la monétisation, des données vers des acteurs externes à l’entreprise.

La marketplace peut également être considérée comme l’un des aboutissements de la logique Data Mesh, permettant de présenter les données comme des produits.

Warehouse et Workspace

Faut-il opposer warehouse et workspace ? Au-delà des querelles sémantiques, distinguons trois besoins différents :

  • Centraliser le stockage des données opérationnelles de l’entreprise provenant de diverses sources afin de les analyser et de générer des rapports dans une optique de prise de décision. On parle alors de warehouse. Ces solutions sont optimisées pour exécuter des requêtes analytiques complexes sur de grandes quantités de données et d’historiques, à l'aide du langage SQL ou du Python. Les utilisateurs typiques de ces systèmes sont les Data Analysts.
  • Offrir un environnement flexible et collaboratif où les utilisateurs peuvent préparer, explorer et visualiser des données, souvent en s'appuyant sur divers outils de Data Science tels que les notebooks. On parle alors de workspace. C'est l'espace privilégié des Data Scientists, qui y testent et affinent leurs idées, améliorent leurs modèles, et veillent à ce que les solutions proposées soient à la fois robustes et efficaces.
  • La logique Data Mesh a introduit un troisième concept : celui d’un espace dédié à certains acteurs (par exemple, le marketing ou la logistique). Cet espace s’appuie sur des données dites « d’entreprise », mais les experts du domaine ajoutent leurs métadonnées et indicateurs propres à leurs besoins, ainsi que des données externes, jusqu’à des frameworks plus aboutis intégrant des fonctionnalités métiers. Ces fonctionnalités s’exécutent directement sur les données centralisées, sans nécessiter de synchronisation supplémentaire vers un autre dataset applicatif.

Machine Learning

Le Machine Learning (ML) a pour vocation de faire émerger une compréhension des données, par exemple des liens, des segmentations, et de transformer cette information en modèles prédictifs qui serviront de base à des politiques commerciales, de régulation, etc. Le ML s’organise dans un environnement de stockage et de services qui bénéficie des plateformes de Cloud Computing et de leurs performances en termes de stockage et de calcul.

Basé sur un environnement de type Big Data au niveau infrastructure, provisioning des ressources, etc., le ML se structure autour de plusieurs étapes :

  • Préparer les données : nettoyage, mise en qualité et aux formats, organisation autour de métadonnées pour obtenir des résultats fiables.
  • Utiliser des modèles en libre-service (éventuellement payants au sein de marketplaces), correspondant à des use cases génériques conformes aux besoins métiers.
  • Se concentrer sur les résultats opérationnels et modifier les algorithmes des modèles préexistants pour les ajuster aux datasets de l’entreprise.

Le Data Mesh

Le Data Mesh n’est pas une technologie, mais une organisation et une architecture autour des données. Il croise responsabilisation (engager les métiers à porter eux-mêmes la disponibilité et la qualité des données) et gestion (rendre autonomes les producteurs de données sur différents traitements). Ces deux conditions permettent de transformer les données en « produits ».

Cette organisation doit cependant être encadrée dans une architecture d’entreprise maîtrisée pour s’assurer de la disponibilité des données, de leur sécurité et de la maîtrise des coûts. Il s’agit donc davantage de dépasser le goulot d’étranglement d’une organisation où l’IT est acteur, pour définir :

  • Des infrastructures : solutions, outils et architectures validés par les responsables de l’urbanisation, et mutualisés autant que possible pour en faciliter l’exploitation.
  • Des périmètres : définir les données d’entreprise vs. les données propres à un métier vs. les données externes nécessaires à un métier. L’objectif est de maîtriser les données mises à disposition des consommateurs internes ou externes, via notamment des marketplaces.
  • Des rôles et des contrats de services : gouvernance et FinOps.

IA et Gouvernance des données

L’IA est connue pour contribuer à l’analyse et à la modélisation des données, ou à leur restitution à travers l’IA générative. La puissance de l’IA s’exprime également dans :

  • La gestion des métadonnées : automatiser le catalogage et l'indexation des métadonnées. L'IA permet aussi de mapper les attributs de nouvelles sources avec un format cible et contribue largement à l’accélération du développement des interfaces.
  • La gestion de règles : proposer des règles de qualité types sur la base de données sources ou d’autres datasets. Elle intervient également dans la déduplication, notamment en proposant des règles de correspondance selon la population analysée.

IA Générative

Les bouleversements apportés par l’IA générative ne proviennent pas d’une nouvelle façon de penser les données : elle repose également sur des algorithmes d’IA basés sur un stack massif de données. Cependant, l’IA générative, via l’utilisation d’un Large Language Model (LLM), tend à modifier et simplifier la manière de travailler :

  • On ne navigue plus : on converse.
  • On ne requête plus : on interroge via des prompts.
  • Ainsi,
  • L’utilisateur métier obtient des informations sur les performances, les tendances d’un produit ou d’un service.
  • L’analyste perçoit les modèles derrière des extractions et se voit conseiller des règles de qualité.
  • Le Data Engineer commande des datasets, des calculs et fait rétro-documenter son code.

Le challenge pour les entreprises est que l’IA générative doit fonctionner sur leurs données internes. Au-delà de la préparation des données, il s’agit de maintenir la confidentialité des données tout en utilisant un LLM du marché. Plusieurs options existent pour y parvenir, notamment en s’appuyant sur divers prestataires logiciels. La fin de l’histoire reste à écrire sur ce sujet.