LLM open source souverains — du fine-tuning au GPU on-prem
Choisir et dimensionner des modèles open source, exploiter des GPU sur Proxmox, OpenStack, Kubernetes et OpenShift, servir les modèles avec vLLM, construire RAG et agents souverains, adapter un modèle par fine-tuning LoRA / QLoRA, puis exploiter et superviser la plateforme en conformité.
Objectifs de la formation
- Choisir un modèle open source selon l'usage, la langue, la taille et la licence.
- Dimensionner la VRAM et le matériel GPU, et choisir un niveau de quantification.
- Exploiter des GPU sur Proxmox VE, OpenStack, Kubernetes et OpenShift.
- Servir des modèles en production avec vLLM et une API compatible OpenAI.
- Construire un RAG et des agents souverains (MCP) sur des données internes.
- Adapter un modèle par fine-tuning LoRA / QLoRA et l'évaluer.
- Exploiter, sécuriser et superviser une plateforme IA hybride conforme.
Public concerné
- Ingénieurs MLOps et IA.
- Architectes cloud.
- Ingénieurs infrastructure et DevOps.
- Équipes plateforme.
Prérequis
- Linux, conteneurs et Kubernetes.
- Pratique de Python.
- ECI-IA-210 ou ECI-IA-301 recommandée.
Programme détaillé
Jour 1 — Modèles et dimensionnement
- Transformers et LLM open source : tokenizer, attention, pré-entraînement et modèles instruct, familles de modèles à poids ouverts, licences et conditions d'usage commercial, lecture prudente des benchmarks et évaluation sur ses propres cas
- Inférence locale et formats : Hugging Face, transformers et safetensors, Ollama, llama.cpp et format GGUF, tokens par seconde et latence du premier token, ce qui est réaliste sur CPU et sur GPU. Lab 1 : trois modèles en local, comparaison qualité et vitesse
- Dimensionnement GPU : estimation de la VRAM (paramètres, précision, cache et marge), quantification FP16, INT8 et INT4, concurrence, longueur de contexte et débit, coût total comparé à une API. Lab 2 : calculateur de dimensionnement et choix matériel
Jour 2 — Infrastructure GPU
- GPU sur Proxmox VE et OpenStack : IOMMU et passthrough PCI, vGPU et partage de GPU, pilotes NVIDIA et vérifications, nœuds GPU dans un cloud privé OpenStack. Lab 3 : VM GPU en passthrough sur Proxmox VE
- GPU sur Kubernetes et OpenShift : NVIDIA GPU Operator, device plugin et pilotes conteneurisés, partage par MIG et time-slicing, quotas, affinités et nœuds dédiés, vue d'ensemble de Red Hat OpenShift AI. Lab 4 : GPU Operator et pod GPU de test
- Servir les modèles en production : vLLM et son API compatible OpenAI, déploiement Kubernetes, KServe et mise à l'échelle, stockage des modèles sur Ceph (RGW S3, CephFS), tests de charge et réglages. Labs 5 et 6 : vLLM sur Kubernetes avec modèles stockés sur Ceph, test de charge et réglage du débit
Jour 3 — RAG, agents et fine-tuning
- RAG souverain : ingestion de PDF et de documents bureautiques, découpage et métadonnées, embeddings open source et base vectorielle, RAG multimodal, reranking, citations et évaluation de la qualité. Labs 7 et 8 : RAG sur une base documentaire interne, évaluation du RAG
- Agents et MCP : appel d'outils avec des modèles open source, serveurs MCP internes (ERP, ticketing, supervision), orchestration et garde-fous, moindre privilège et validation humaine. Lab 9 : agent outillé par MCP sur modèle local
- Fine-tuning : quand le fine-tuning est utile et quand le RAG suffit, LoRA, QLoRA et PEFT, entraînement supervisé, préparation et qualité des données, évaluation avant et après, fusion des adaptateurs. Labs 10 et 11 : fine-tuning QLoRA sur un jeu métier, évaluation et service du modèle adapté
Jour 4 — Production, sécurité et conformité
- Passerelle IA et sécurité : passerelle compatible OpenAI (authentification, quotas, routage), classification et masquage des données personnelles, routage hybride entre modèles locaux et API externe, injection de prompt, journalisation et audit. Lab 12 : passerelle IA avec masquage et routage hybride
- Observabilité et exploitation : métriques GPU, Prometheus et Grafana, débit, latence, taux d'erreur et coût par requête, mise à jour des modèles (versionnement, canary, retour arrière), évaluation continue de la qualité. Lab 13 : tableau de bord de la plateforme IA
- Architecture de référence et conformité : architecture hybride souveraine de référence, loi 09-08 et CNDP, loi 2013-450 et ARTCI, exigences sectorielles, plan de capacité et feuille de route. Labs 14 et 15 : plateforme complète de bout en bout, projet final
Modalités et évaluation
- Présentiel ou distanciel en direct, 70 % de pratique sur lab GPU dédié ; sessions intra-entreprise sur demande
- Formation dispensée en français
- 15 labs, 10 mises en situation et 1 projet final noté
- Évaluation : quiz (10 %), labs validés (40 %), mises en situation (10 %), projet final (40 %)
- Attestation de formation ECINTELLIGENCE remise à partir de 60 %
Livrables remis aux participants
- Manuel de cours et cahier de labs ECINTELLIGENCE (PDF)
- Calculateur de dimensionnement VRAM et coûts
- Manifestes Kubernetes et OpenShift : GPU Operator, vLLM, stockage Ceph
- Code de référence : RAG, agent MCP, fine-tuning QLoRA, passerelle IA
- Tableau de bord d'observabilité
- Architecture hybride souveraine de référence
- 10 mises en situation corrigées
- Annexe « État de l'art » datée (modèles, versions, licences)
Suite de parcours
- ECI-IA-301 — Claude pour les ingénieurs Cloud et DevOps
- ECI-IA-001 — Panorama de l'IA pour décideurs (pour vos directions)
- Formations Cloud et infrastructure du catalogue : Proxmox VE, Ceph, OpenShift, OpenStack
- Accompagnement ECINTELLIGENCE : conception et déploiement de plateformes IA souveraines
Les modèles, versions et fonctions évoluant rapidement, le contenu est actualisé avant chaque session. Les noms de produits cités (PyTorch, OpenShift, Kubernetes, Proxmox, NVIDIA, Hugging Face…) sont des marques de leurs propriétaires respectifs.
Certification
À l'issue de cette formation, vous recevrez une attestation de participation délivrée par ECINTELLIGENCE.
Autres formations qui pourraient vous intéresser
Panorama de l'IA pour décideurs
Présentiel et distancielUne journée sans jargon pour les décideurs : panorama de l'IA prédictive, générative et agentique, conditions de réussite d'un projet, …
Claude pour les professionnels
Présentiel et distancielFormation pratique pour tous les métiers : bien formuler ses demandes, choisir le bon modèle, exploiter projets, documents, recherche et …
Développer avec l'API Claude et les agents
Présentiel et distancielFormation développeur : API Messages, streaming, erreurs et limites, maîtrise des coûts (batch, prompt caching), sorties structurées, outils, MCP, Agent …
Prêt à développer vos compétences ?
Rejoignez des centaines de professionnels qui ont fait confiance à ECINTELLIGENCE pour leur montée en compétences.
Voir toutes nos formations