IA générative souveraine, en production au Département du Calvados

Le principe : un socle ouvert, maîtrisé de bout en bout

Le socle technique : des briques ouvertes, opérées de bout en bout

• 01

  Un modèle open weight, servi par la plateforme

  Mistral Small 3.2 24B Instruct (version 2506), publié par Mistral AI sous licence Apache 2.0, tourne dans un conteneur vLLM sur le serveur GPU et s'interroge par une API compatible OpenAI. Le modèle de langage et le modèle d'embedding partagent un seul GPU : une NVIDIA A100 80 Go par défaut, avec bascule automatique sur une H100 ou une H200 si elle n'est pas disponible.

• 02

  Des réponses sourcées

  Le texte extrait est découpé en extraits, vectorisé par un modèle d'embedding servi lui aussi par vLLM sur le même GPU, puis interrogé par recherche sémantique. Le reranker BAAI bge-reranker-v2-m3, également servi par vLLM, reclasse les extraits retenus avant qu'ils ne soient transmis au modèle, pour des réponses sourcées.

• 03

  Une extraction multi-format

  PDF (texte natif, tableaux convertis en Markdown, OCR sur GPU des images avec détection de l'orientation grâce à docTR), documents Word, PowerPoint et Excel récents (.docx, .pptx, .xlsx) et pages HTML grâce à Docling, fichiers texte (txt, csv, md, json, xml, code source). Le moteur d'extraction écrit chaque document dans un fichier temporaire, supprimé après traitement, et renvoie le texte extrait au portail.

• 04

  Un portail collaboratif

  L'interface est Open WebUI : conversation, documents et bases de connaissances. Le portail est configuré par API pour utiliser le moteur d'extraction et le reranker de la plateforme.

• 05

  Un calcul en journée, dans l'UE

  Du lundi au vendredi, une tâche planifiée crée et configure le serveur GPU du modèle le matin, puis l'arrête et le supprime le soir : il est reconstruit à neuf chaque matin et n'est pas créé le week-end. Ce serveur n'est loué que dans des centres de données situés dans l'Union européenne.

• 06

  Un tunnel chiffré, une exploitation suivie

  À chaque démarrage, le serveur GPU du modèle rejoint un tunnel chiffré WireGuard qui le relie au portail. Chaque service interne (modèle, embeddings, reranker, extraction) exige un jeton d'accès. Prometheus suit les GPU et le moteur d'inférence, et un compte rendu part par e-mail à chaque démarrage et à chaque arrêt, avec une alerte en cas d'échec.

Ce que cela montre

• Un modèle reproductible. Le socle d'abord déployé dans une agglomération est en production dans un département, avec le même modèle et la même architecture : une collectivité n'a pas à repartir d'une page blanche.
• Une souveraineté qui tient à l'architecture. Le modèle de langage, les embeddings, le re-ranking et l'extraction sont servis par la plateforme elle-même, et non appelés chez un fournisseur d'IA. Le serveur du modèle est loué dans l'Union européenne et relié au portail par un tunnel chiffré.
• Des coûts encadrés dès la conception. Le serveur GPU du modèle n'est loué que du lundi au vendredi en journée, le modèle et les embeddings partagent un seul GPU, et un contrôle vérifie avant chaque démarrage que le crédit de calcul couvre la journée. Le coût réel dépend de l'offre de l'hébergeur et des autres services, qui peuvent rester allumés.
• Une exploitation automatisée. Le démarrage, la configuration et l'arrêt du serveur GPU du modèle, ainsi que les comptes rendus, se font sans intervention manuelle ; la supervision suit les GPU et le moteur d'inférence.