INTÉGRER VOS DONNÉES : DU CYCLE DE VIE AU PARTAGE DE LA VALEUR
Qu'est-ce que la Data Integration ?
Le concept de middleware évolue vers la notion de plateforme d’échanges.
Il ne s’agit plus seulement de faire circuler les données, mais de les partager au sein des différents use cases de chaque métier.
Une communication facilitée au sein d'un écosystème d'intégration global
Une agilité opérationnel accrue et une réduction des coûts de développement
Une flexibilité essentielle pour s'adapter aux évolutions technologiques
La complexité des cycles de vie des données a fait naître la notion de pipeline. Cette notion ne se résume pas à une succession d’étapes, mais à des agrégations de sources diverses suivies de préparations des données. Ces données doivent être ensuite rendues disponibles aux métiers, pour l’analyse et les services, favorisant de nouvelles méthodes de travail, inspirées par l’approche Data Mesh.
Dans ce contexte, de plus en plus d’entreprises optent pour une rationalisation des échanges de données : choisir une solution de plateforme d’échanges unique, avec deux objectifs :
- Mutualiser les compétences et les ressources.
- Construire les échanges sur des formats pivots et proposer des services de consommation des données aux utilisateurs internes et externes (exposition, publication, etc.).
La complexité des cycles de vie des données a fait naître la notion de pipeline. Cette notion ne se résume pas à une succession d’étapes, mais à des agrégations de sources diverses suivies de préparations des données. Ces données doivent être ensuite rendues disponibles aux métiers, pour l’analyse et les services, favorisant de nouvelles méthodes de travail, inspirées par l’approche Data Mesh.
Dans ce contexte, de plus en plus d’entreprises optent pour une rationalisation des échanges de données : choisir une solution de plateforme d’échanges unique, avec deux objectifs :
- Mutualiser les compétences et les ressources.
- Construire les échanges sur des formats pivots et proposer des services de consommation des données aux utilisateurs internes et externes (exposition, publication, etc.).
COMMENT INTÉGRER VOS FLUX GRÂCE À UNE PLATEFORME D’ÉCHANGES ?
La volonté de considérer les données comme des produits essentiels de l’entreprise exige une maîtrise des processus qui assurent l’émission, le partage et la bonne réception des données.
Le nombre croissant d’applications nécessite une souplesse technologique pour construire des interfaces faciles à implémenter et évolutives.
Voici quelques évolutions de la manière d’échanger et de partager les données, à prendre en compte selon le contexte de l’entreprise :
- 1. Le temps réel s’impose de plus en plus au regard des exigences métiers et des évolutions technologiques :
- Disposer de l’information dès sa mise à jour est de plus en plus une exigence des métiers pour différents use cases : animer les clients, publier des données à jour, monétiser ses données, exploiter son potentiel de flexibilité et d’agilité en détectant les changements le plus tôt possible.
- Les techniques liées au temps réel sont désormais bien maîtrisées, notamment celles basées sur l’exposition des données via des API et le messaging. Dès lors, pourquoi ne pas rationaliser les processus en privilégiant le temps réel (synchrone ou asynchrone) de façon plus systématique ?
COMMENT INTÉGRER VOS FLUX GRÂCE À UNE PLATEFORME D’ÉCHANGES ?
La volonté de considérer les données comme des produits essentiels de l’entreprise exige une maîtrise des processus qui assurent l’émission, le partage et la bonne réception des données.
Le nombre croissant d’applications nécessite une souplesse technologique pour construire des interfaces faciles à implémenter et évolutives.
Voici quelques évolutions de la manière d’échanger et de partager les données, à prendre en compte selon le contexte de l’entreprise :
- 1. Le temps réel s’impose de plus en plus au regard des exigences métiers et des évolutions technologiques :
- Disposer de l’information dès sa mise à jour est de plus en plus une exigence des métiers pour différents use cases : animer les clients, publier des données à jour, monétiser ses données, exploiter son potentiel de flexibilité et d’agilité en détectant les changements le plus tôt possible.
- Les techniques liées au temps réel sont désormais bien maîtrisées, notamment celles basées sur l’exposition des données via des API et le messaging. Dès lors, pourquoi ne pas rationaliser les processus en privilégiant le temps réel (synchrone ou asynchrone) de façon plus systématique ?
- 2. L’impact des nouvelles architectures :
- Le Cloud et les iPaaS : avec des applications désormais réparties entre on-premise, dans le Cloud et des solutions complètement externalisées en mode SaaS, la gestion des flux entre ces différentes instances requiert de nouvelles fonctions disponibles dans les iPaaS. Ces plateformes permettent de déployer des architectures hybrides offrant un socle d’exécution maîtrisé pour les échanges. Ce socle combine des moteurs d’exécution locaux (agents) dispersés dans chaque lieu de stockage et un pilotage centralisé de ces agents, lui-même le plus souvent en mode SaaS.
- Le retour de l’ELT et de l’ingestion en masse : la mise en place de data platforms pour gérer les pipelines de données implique d’abord l’ingestion des données dans leurs formats bruts. Des solutions existent pour relever ce défi, en particulier lorsque les volumes de données et les exigences de performances sont élevés.
- 3. Middleware et qualité des données : transférer les données ou également les transformer ?
- Les choix divergent lorsqu’il s’agit de savoir où apporter de l’intelligence : dans les middlewares, dans les applications métiers ou dans une data platform. Ce choix dépend des stratégies d’entreprise, des capacités des applications concernées et de l’organisation interne autour de ces enjeux.
- 4. Bus de services : jusqu’au hub de données ?
- La notion de bus rationalise la communication et l’échange de données entre des sources et des consommateurs (qui peuvent être successivement les mêmes) à travers des patterns d’échanges, soit en point à point, soit de type publication-abonnement. On peut y ajouter des règles de gestion, des appels à des providers en mode API pour enrichir les données, etc. Le bus de services des données se rapproche alors de la notion de hub.
- 2. L’impact des nouvelles architectures :
- Le Cloud et les iPaaS : avec des applications désormais réparties entre on-premise, dans le Cloud et des solutions complètement externalisées en mode SaaS, la gestion des flux entre ces différentes instances requiert de nouvelles fonctions disponibles dans les iPaaS. Ces plateformes permettent de déployer des architectures hybrides offrant un socle d’exécution maîtrisé pour les échanges. Ce socle combine des moteurs d’exécution locaux (agents) dispersés dans chaque lieu de stockage et un pilotage centralisé de ces agents, lui-même le plus souvent en mode SaaS.
- Le retour de l’ELT et de l’ingestion en masse : la mise en place de data platforms pour gérer les pipelines de données implique d’abord l’ingestion des données dans leurs formats bruts. Des solutions existent pour relever ce défi, en particulier lorsque les volumes de données et les exigences de performances sont élevés.
- 3. Middleware et qualité des données : transférer les données ou également les transformer ?
- Les choix divergent lorsqu’il s’agit de savoir où apporter de l’intelligence : dans les middlewares, dans les applications métiers ou dans une data platform. Ce choix dépend des stratégies d’entreprise, des capacités des applications concernées et de l’organisation interne autour de ces enjeux.
- 4. Bus de services : jusqu’au hub de données ?
- La notion de bus rationalise la communication et l’échange de données entre des sources et des consommateurs (qui peuvent être successivement les mêmes) à travers des patterns d’échanges, soit en point à point, soit de type publication-abonnement. On peut y ajouter des règles de gestion, des appels à des providers en mode API pour enrichir les données, etc. Le bus de services des données se rapproche alors de la notion de hub.
- 5. Les deux grandes technologies du temps réel : synchrone (API) et asynchrone (streaming/messaging) sont, finalement, plus complémentaires que concurrentes :
- La Web API permet d’exposer des données pour des applications consommatrices, que ce soit pour des besoins internes ou pour des fronts ouverts vers l’extérieur. Sa principale limite réside dans l’exigence de haute disponibilité, en particulier pour gérer des flux. À noter que ce type d’API est souvent soumis à des politiques de sécurité plus restrictives en termes d’utilisation et d’habilitation afin de garantir la confidentialité des accès aux données et de maintenir le niveau de service de l’API.
- Le streaming, grâce à sa quasi-absence de latence, répond à la plupart des exigences du temps réel. Il est donc une solution à privilégier, notamment dans un usage de pipeline de données. Grâce à des solutions comme Kafka, des traitements volumineux de données peuvent transiter en mode messaging, même si cet éditeur n’est plus le seul acteur aujourd’hui.
- La gestion des acquittements est une exigence déterminante pour s’assurer que toutes les informations sont correctement transmises, et sa mise en place est facilitée au sein d’un bus qui peut combiner Web API et streaming.
- 5. Les deux grandes technologies du temps réel : synchrone (API) et asynchrone (streaming/messaging) sont, finalement, plus complémentaires que concurrentes :
- La Web API permet d’exposer des données pour des applications consommatrices, que ce soit pour des besoins internes ou pour des fronts ouverts vers l’extérieur. Sa principale limite réside dans l’exigence de haute disponibilité, en particulier pour gérer des flux. À noter que ce type d’API est souvent soumis à des politiques de sécurité plus restrictives en termes d’utilisation et d’habilitation afin de garantir la confidentialité des accès aux données et de maintenir le niveau de service de l’API.
- Le streaming, grâce à sa quasi-absence de latence, répond à la plupart des exigences du temps réel. Il est donc une solution à privilégier, notamment dans un usage de pipeline de données. Grâce à des solutions comme Kafka, des traitements volumineux de données peuvent transiter en mode messaging, même si cet éditeur n’est plus le seul acteur aujourd’hui.
- La gestion des acquittements est une exigence déterminante pour s’assurer que toutes les informations sont correctement transmises, et sa mise en place est facilitée au sein d’un bus qui peut combiner Web API et streaming.