Contexte & Objectifs

Un leader dans les solutions de marketing digital avait besoin d'un entrepôt de données en raison de l'augmentation du volume et de la complexité des données. Les données de différentes sources dans Tableau pour le mélange ont conduit à des tableaux de bord réagissant lentement, freinant ainsi les flux de travail commerciaux et opérationnels. 

Notre client savait qu'il était temps d'exploiter une infrastructure de gestion des données en nuage pour en tirer des avantages tels que l'optimisation des coûts, moins de maintenance, des technologies de pointe, et la facilité de développement. Ils ont contacté Agilytic pour mettre en œuvre une nouvelle solution.

Démarche

Nous avons entrepris de mettre en œuvre une preuve de concept pour un pipeline de données et un entrepôt de données hébergé dans le cloud. 

Tout d'abord, nous avons défini le périmètre et les besoins métier. Nous avons identifié des cas d'utilisation à court et à long terme via des entretiens avec les parties prenantes du client pour aider notre client à repenser les flux de données.

Ensuite, nous avons réalisé une étude de marché pour identifier le meilleur fournisseur de services cloud adapté aux besoins du client. En avançant avec Amazon Web Services (AWS), nous avons identifié l'intégration cloud idéale (développement, test, production) et l'itération de la pile analytique pour s'assurer que l'infrastructure convenait à notre client.

Développement ETL avec AWS

Ensuite, nous avons effectué une configuration de l'infrastructure cloud (en partie IaC) et le développement ETL pour notre entrepôt de données. Il y avait deux sources de données pour les cas d'utilisation sur lesquels nous avons travaillé : une base de données PostgreSQL hébergée dans le cloud AWS et Google BigQuery contenant des données analytiques. Le client avait de l'expérience avec le cloud et maîtrisait certaines bonnes pratiques DevOps comme l'Infrastructure as Code (IaC). Puisque nous avions décidé du fournisseur, notre seule décision concernait l'outil ETL. Deux options étaient envisagées : AWS Glue ou les fonctions Lambda écrites en Python déclenchées par Step. Attirés par la fonctionnalité de catalogage de données, nous avons choisi Glue. D'un point de vue technique, le projet consistait principalement à traduire les requêtes SQL en Spark. Nous avons donné deux sessions de formation pour introduire les concepts de Glue et ETL. 

Avant de terminer le projet d'entrepôt de données, nous avons élaboré la logique métier pour proposer des corrections finales au client. De plus, nous avons créé un catalogue de données avec un lignage défini et des directives de gouvernance des données pour une gestion à long terme plus simple.​

Résultats

Nous avons développé un pipeline ETL et un entrepôt de données robuste et flexible basé sur une infrastructure cloud de confiance en deux mois. 

Les départements commerciaux peuvent accéder aux données les plus récentes pour prendre des décisions rapides et percutantes avec la solution. De plus, en cas de simple hésitation, ils peuvent rapidement comprendre les données en se référant au catalogue de données fourni.​

Les développeurs nouvellement embauchés pourront facilement ajouter des fonctionnalités ou adapter les modifications demandées par les utilisateurs métier, étant donné la scalabilité de cette solution.​