Serving LLM : du benchmark à la recommandation.
Secteur public | Prestation sociale
Au sein d’une équipe IA, phase d’exploration des LLMs open source en vue de leur industrialisation. Contrainte forte sur les ressources GPU (A100 on-prem), multiplicité des déploiements non tracés et besoin de choisir un backend de serving adapté avant mise en production.
Principales réalisations
Comparaison de 5 backends de serving sur 2 modèles et plusieurs formats de quantification.
Étude approfondie du comportement de vLLM.
Benchmarks multi-cloud (AWS, GCP) de montée en charge.
Mise en place d'un framework de benchmark sur-mesure.
Définition d'un cadre de gouvernance des déploiements (K8s, nomenclature, traçabilité Git).
Apport / résultat
Notre étude a permis la sélection éclairée de vLLM, accompagnée de recommandations d’infrastructure (dimensionnement GPU, choix cloud). Nous avons posé les bases d’une gouvernance des déploiements, permettant d’initier une approche industrialisable et reproductible.
vLLM
TGI
llama.cpp
OpenLLM
Triton
Inference Server
Nous avons posé les bases d'une gouvernance des déploiements, permettant d’initier une approche industrialisable et reproductible.
Notre mission.
Accompagner vos transformations.
Intelligence Artificielle
L’IA prend de plus en plus de place dans nos vies et nos systèmes d’information. Malgré les promesses des géants de la tech, transformer une idée en valeur est une affaire de spécialistes. Particulièrement sur des cas d’usage critiques ou à haute sensibilité.
AI4IT
Très peu de domaines ont connu une révolution aussi forte que la fabrication logicielle dans les 3 dernières années. Nous portons une vision sans concession sur un apport de l’IA encadré par l’humain au service de la valeur métier, du time to market et la qualité des produits fournis.
Data
Pour des décisions impactantes ou pour des agents performants, rien n’est possible sans une structure, une architecture et une gouvernance de la donnée à hauteur de vos ambitions.
Cloud & Plateform
Dans un monde où la performance est requise, où l’hybridation est de mise, où la souveraineté doit s’évaluer sur chaque solution, l’apport d’expertise dans vos architectures et infrastructures se doit d’être factuelle et agnostique.
- Numérique responsable & éco conception
- Observabilité, SRE & fiabilité opérationnelle
- Platform Engineering, DevSecOps, CI/CD & automatisation
- Sécurité, résilience & cloud souverain
- Stratégie & architecture cloud native
- API, intégration & interopérabilité SI
- FinOps, GreenOps & optimisation continue
- Migration, modernisation & architecture logicielle
Parlons de votre projet
Laissez-nous vos coordonnées et un expert Valeuriad vous recontactera sous 24h pour échanger sur vos enjeux.
Transformer une idée IA en solution maîtrisée
Une démarche IA utile commence par la donnée, les usages et les décisions à sécuriser. Sans cadrage, les expérimentations se multiplient sans ROI. Sans industrialisation, la dette IA s’accumule. Sans gouvernance, les coûts GPU, les dépendances technologiques et les risques de conformité finissent par bloquer les ambitions. Valeuriad aide à transformer une idée en solution IA adoptée, gouvernée, souveraine, industrialisée et maintenable — en identifiant d’abord les cas d’usage qui méritent réellement d’entrer en production.
Nos dernières actualités
Explicabilité, Supervision et Maîtrise Humaine : Notre Vision de l’IA
Nous refusons l'effet « boîte noire » de l’IA. Nous garantissons la maîtrise humaine au service des enjeux du Ministère : sécurité, souveraineté, conformité réglementaire et éthique.
Agilité et Numérique Responsable : et si être agile signifiait « concevoir durable » ?
Aujourd’hui, le numérique représente environ 4,4 % de l’empreinte carbone en France (Ademe, données de 2022).
Le Printemps de la Tech : L’excellence technique au cœur de la culture Valeuriad
Ce festival interne incarne l'essence même de l'ADN de l'entreprise, mêlant partage de connaissances, convivialité et expertise technique de pointe.
