Pourquoi nous avons construit notre propre solution OCR fiable et rentable chez Agilytic

Agilytic aide les entreprises à transformer leurs données brutes en informations exploitables. Au fil des ans, nous avons remarqué un défi récurrent dans tous les secteurs : libérer les données emprisonnées dans des documents papier, des PDF numérisés et des fichiers image. Un nouveau client peut nous fournir des reçus, des factures ou des dossiers RH qui n'existent que sous forme de pages numérisées, ce qui rend l'automatisation difficile.

Nous avons décidé de créer notre propre solution interne pour extraire des informations structurées de ces documents. Notre objectif était simple : traiter presque tous les fichiers de manière fiable, rentable et avec une supervision humaine minimale. Cet article explore pourquoi nous avons développé un outil interne de reconnaissance optique de caractères (OCR) (Smart OCR), comment il fonctionne et pourquoi nous croyons qu'il représente une nouvelle norme dans le traitement des documents.

Combler le fossé entre le papier et les données

Les organisations traitent souvent des centaines voire des milliers de documents chaque jour. Ces documents vont des factures et formulaires d'employés aux reçus et contrats. Entrer manuellement les informations de chaque fichier est chronophage et sujet aux erreurs. Pire, de nombreuses solutions tierces existantes manquent de certaines fonctionnalités—comme le modèle personnalisable, le support multilingue ou une fiabilité constante à grande échelle.

Chez Agilytic, nous voulions donner aux utilisateurs le contrôle. Nous avons imaginé un outil qui lirait rapidement le texte de n'importe quel fichier (pensez PDF, PNG, ou une image numérisée) puis structurerait le contenu selon une mise en page ou un « modèle » personnalisé. Grâce à cela, les clients peuvent facilement exporter les données traitées dans les systèmes qu'ils utilisent déjà pour la finance, les RH ou l'analyse.

Comment fonctionne Smart OCR

Smart OCR commence par extraire le texte d'un document. Nous nous appuyons sur de puissantes bibliothèques open source comme PaddleOCR, qui a montré de fortes performances sur les données numériques et le texte multilingue. Notre solution enrichit ensuite le texte brut avec des repères structurels (par exemple, détecter les tableaux ou les titres). Enfin, nous utilisons un grand modèle de langage (LLM) pour remplir un modèle prédéfini. Nous pouvons personnaliser ce modèle pour répondre exactement aux besoins d'un client ou les utilisateurs peuvent facilement créer leur propre modèle.

Un de nos membres de l'équipe l'a décrit au mieux lors d'une démonstration interne : “Il ne nécessite aucune compétence spécifique pour fonctionner—il est dans le cloud, sécurisé et fiable utilisant la version Azure d'OpenAI.” Cette approche simple signifie que l'utilisateur peut faire glisser et déposer des fichiers, choisir un modèle (ou en générer un nouveau), et laisser le système gérer le reste.

Un aperçu de la technologie

1. Extraction OCR

   Nous commençons avec PaddleOCR pour reconnaître le texte dans les images. PaddleOCR se distingue lorsqu'il s'agit d'éléments manuscrits ou de mises en page complexes. Par conception, il est plus robuste avec les données numériques que les méthodes plus anciennes.

2. Structurer le contenu

   Après avoir extrait le texte, nous l'enrichissons avec des marqueurs structurels : titres, tableaux et paragraphes. Nous réalisons cela à travers un “modèle de structuration” qui convertit le texte reconnu en une représentation légère de type HTML. Historiquement, le HTML a été utilisé par les sites Web pour aider à organiser et structurer la façon dont leur contenu est affiché. Si le document original avait un tableau, nous voulons conserver ce tableau tel quel dans le résultat structuré.

3. Utiliser un grand modèle de langage

   Le contenu de type HTML, associé à un modèle défini par l'utilisateur, est ensuite transmis à un grand modèle de langage (LLM). Le LLM utilise uniquement le texte extrait pour remplir les champs demandés (par exemple, “nom du client” ou “montant de la facture”). Il ignore tout ce qui est non pertinent. Si les informations demandées ne sont pas dans le document, l'outil laisse simplement ce champ vide.

4. Personnalisation des sorties

   Notre interface web facilite la modification ou la création de nouveaux modèles. En conséquence, chaque utilisateur peut définir quels champs sont les plus importants. Par exemple, un client du secteur manufacturier pourrait capturer les numéros de pièces et les quantités, tandis qu'une équipe de ressources humaines pourrait se concentrer sur les numéros d'identification et les salaires.

Pourquoi nous l'avons construit en interne

Il existe de nombreuses solutions prêtes à l'emploi pour le traitement des documents, alors pourquoi Agilytic a-t-elle choisi de créer la sienne ? Nous avons constaté que les outils tiers faisaient souvent défaut dans un ou plusieurs de ces domaines :

• fiabilité: Certains outils utilisaient des moteurs OCR plus anciens qui avaient du mal avec les chiffres ou les mises en page complexes.

• rentabilité: Certaines solutions s'appuyaient sur de grands et multimodaux LLM, augmentant les coûts. Les clients pourraient payer plusieurs centimes pour traiter une seule page, ce qui s'accumule rapidement.

• support multilingue: En Belgique et dans toute l'Europe, les documents peuvent apparaître en français, néerlandais, anglais ou d'autres langues. De nombreux outils standards ne couvrent qu'un petit sous-ensemble de langues correctement.

• contrôle des données: Nous voulions garder les données sécurisées et éviter d'envoyer du contenu sensible à des services externes avec des mesures de confidentialité incertaines.

En créant notre propre plate-forme, nous pouvions ajuster chaque élément pour répondre aux exigences de fiabilité et de coût que nous nous fixons. Nous utilisons des modèles de langage large plus efficaces pour la structuration du texte, ce qui maintient le coût à une fraction de centime par document dans de nombreux cas. Nous nous assurons également que tout fonctionne en toute sécurité dans l'environnement Microsoft Azure, où la confidentialité et la résidence des données sont claires et bien définies.

Principaux avantages pour les entreprises

Nous avons conçu Smart OCR pour permettre aux organisations de faire plus avec moins. Voici quelques-uns des avantages que nos clients ont rapportés :

• Haute fiabilité. En combinant de puissantes bibliothèques OCR avec une structuration de texte basée sur LLM, nous fournissons systématiquement des résultats fiables. Si les informations demandées sont manquantes, notre outil ne tentera pas de les inventer.

• Rentabilité. Nous utilisons des modèles de langage relativement petits optimisés pour cette tâche spécifique. Envoyer des données à un modèle multimodal complet comme GPT-4 Vision peut être de dix à cent fois plus cher.

• Facilité d'utilisation. Les utilisateurs téléchargent simplement un fichier et sélectionnent un modèle. Aucun codage ou logiciel spécialisé n'est requis. Un onglet de débogage est disponible pour les utilisateurs avancés qui souhaitent voir comment le processus se déroule.

• Personnalisabilité. Notre solution prend en charge de nouveaux modèles à la volée. Si vous avez besoin de capturer des détails uniques à un secteur ou un type de formulaire spécifique, vous pouvez créer un nouveau modèle en quelques minutes.

Au-delà de l'OCR: la valeur des outils internes

Construire Smart OCR en interne fait partie d'une approche plus large chez Agilytic. Nous croyons que certaines technologies—surtout celles essentielles à un traitement de données sécurisé et précis—devraient rester en interne. Cela garantit que nous pouvons innover à notre propre rythme et nous adapter rapidement aux demandes des clients.

Plus important encore, nos équipes peuvent collaborer étroitement avec les clients pour affiner ces solutions. Nous ne sommes pas restreints par des feuilles de route de prestataires rigides ou des modèles de licence. Si un projet nécessite des capacités avancées d'analyse de texte, nous pouvons intégrer ces fonctionnalités dans le pipeline sans attendre que les fournisseurs externes les priorisent.

Un aperçu de l'impact réel

Lors des premiers tests, nous avons utilisé Smart OCR sur plusieurs factures numérisées. Les outils OCR traditionnels peinaient avec les polices manquantes, les pages inclinées ou le texte pâle. Notre approche a identifié avec précision les noms d'articles, les montants et les taxes en quelques secondes. Un client ayant un flux de travail papier important a constaté une baisse notable des entrées de données manuelles—et moins d'erreurs humaines.

Nous avons également testé le système sur des bulletins de salaire de différents pays. En passant au bon modèle, nous avons extrait les champs pertinents quel que soit le format ou la langue du document. Grâce à la flexibilité de l'outil, notre client a économisé à la fois du temps et de l'argent, tout en ayant l'assurance que les données extraites étaient exactes.

Perspectives d'avenir

Nous continuons à perfectionner Smart OCR. De futures mises à jour pourraient inclure un traitement plus rapide des documents comportant des dizaines de pages, une analyse avancée de la mise en page ou une intégration plus poussée avec nos pipelines d'analyse. Nous visons également à maintenir le coût près de zéro pour chaque document traité, permettant aux organisations d'augmenter l'automatisation des documents sans se soucier des frais qui flambent.

Bien que nous ayons commencé à développer cet outil il y a plus d'un an, nous l'avons conçu pour qu'il soit pérenne. Son design modulaire et son déploiement basé sur le cloud permettent des améliorations continues, peu importe comment les technologies sous-jacentes d'OCR ou de modélisation de langage évoluent.

Discutons des possibilités

Smart OCR vous semble-t-il pouvoir aider votre organisation à rationaliser le traitement des documents ? Nous aimerions en savoir plus sur votre flux de travail et vous montrer comment notre solution peut être adaptée à vos besoins.

Pensez-vous que cet outil pourrait vous aider ? Discutons des possibilités. Planifiez un appel téléphonique.