Contexte & Objectifs

Une organisation publique internationale n'avait pas d'approche centralisée pour suivre les publications des partenaires. Cela les empêchait de traiter efficacement les informations pour la recherche et la rédaction de rapports et de politiques.

Ils voulaient analyser les sites web des institutions partenaires à différents niveaux (par exemple, international, local et régional), en recueillant et classant des documents liés aux sujets qui intéressent leurs décideurs. Obtenir des méthodes d'analyse précises et des algorithmes de traitement du langage naturel (NLP) était crucial pour allouer efficacement les ressources. 

Nous avons entrepris de rassembler des données ouvertes et accessibles au public pour aider notre client à prendre des décisions politiques mieux informées.

Démarche

Après avoir livré un concept de preuve serveur sans coût élevé, le client nous a demandé de développer un prototype pour ce pipeline. Nous avons réalisé des cycles d'implémentations agiles directement dans l'environnement du client pour garantir que la solution soit adaptée à leurs besoins.

Les documents ajoutés au processus nécessitaient l'extraction d'un résumé, d'un titre, de mots-clés, et la possibilité de les classer selon des domaines d'intérêt (plus de 40). Il n'y a pas de structure ou de format communs pour les documents, qui arrivent dans l'une des langues parlées dans l'Union européenne. 

La solution a été déployée dans l'environnement AWS du client, en concevant et en déployant l'infrastructure cloud avec Terraform pour faciliter la maintenance et la scalabilité. Nous avons mis en place une API pour gérer les organisations à analyser et inclure des documents spécifiques dans le pipeline. 

Nous avons codé le prototype en Python, utilisant Docker pour la conteneurisation et exploitant des bases de données SQL. Des extraits clés des documents ont été traduits en anglais, assurant une utilisation optimale et efficace.

Les principaux livrables étaient :

• Code pour déployer l'infrastructure et réaliser l'analyse des documents et leur traitement NLP.

• Documentation sur le déploiement de la solution d'infrastructure en tant que code (IaC) dans l'environnement du client.

• Séries de tests de validation avec le client et audits de sécurité cloud. 

• Partage de connaissances avec l'équipe du client pour une appropriation complète de toutes les parties du pipeline, et la capacité de l'étendre avec de nouvelles fonctionnalités.

Résultats

La solution de classification des documents aide notre client à améliorer sa capacité à trouver des documents et des informations supportant la prise de décisions et l'élaboration de politiques. 

Ils ont cité la solution comme apportant qualité et rapidité, flexibilité, sécurité et rentabilité à leurs processus de recherche et de décision.