Accueil › Base de connaissances IA

Outil pour développeurs

vLLM

vLLM est un moteur qui fait tourner des modèles de langage sur tes propres serveurs, avec un serveur compatible OpenAI.

Qui est derrière

vLLM est un projet logiciel dont le code est hébergé sur GitHub. Il possède une documentation détaillée (guide d'utilisation, guide du développeur, référence d'API et de ligne de commande) et une section communauté.

C'est quoi, concrètement

vLLM sert à exécuter des modèles de langage et à les rendre accessibles à tes applications, soit en traitement hors ligne, soit en service en ligne. Il offre un serveur compatible avec l'API d'OpenAI, ce qui permet de brancher des outils existants. Il fonctionne sur GPU, CPU et TPU, et se déploie avec Docker, Kubernetes ou Nginx. Au quotidien, une équipe technique s'en sert pour héberger elle-même un modèle plutôt que de passer par un service externe.

Produits

  • Inférence hors ligne : Permet de traiter des lots de requêtes directement dans ton code, sans serveur en continu.
  • Service en ligne (serveur compatible OpenAI) : Expose un modèle par une API que tes applications et tes outils peuvent appeler.
  • Déploiement distribué : Répartit la charge avec le parallélisme de données, d'experts ou de contexte, et avec Ray pour servir sur plusieurs machines.
  • Fonctions avancées de génération : Inclut le cache de préfixes automatique, les adaptateurs LoRA, le décodage spéculatif, les sorties structurées et l'appel d'outils.
  • Modèles de pooling : Prend en charge des usages comme les embeddings, la classification et le scoring.
  • Observabilité et intégrations : Offre des métriques avec Prometheus et Grafana, OpenTelemetry, et des intégrations avec LangChain, LlamaIndex, Open WebUI, Dify et LiteLLM.

Ce qu'il fait bien

  • Il expose une API compatible OpenAI, donc facile à brancher à des outils existants.
  • Il tourne sur plusieurs types de matériel: GPU, CPU et TPU.
  • Il couvre beaucoup d'usages: texte, multimodal, reconnaissance vocale, embeddings et appel d'outils.
  • Il s'intègre à plusieurs outils connus, comme LangChain, LlamaIndex et Open WebUI.
  • Il offre des options de déploiement et de suivi pour la production, dont Docker, Kubernetes et Prometheus.

Ses limites

  • C'est un outil pour développeurs, pas une application prête à utiliser.
  • Il faut installer, configurer et héberger l'infrastructure toi-même.
  • Le déploiement distribué demande de la configuration et un peu de dépannage.
  • Certaines fonctions sont encore expérimentales, comme le prefilling désagrégé.
  • Il ne fournit pas de modèle: tu dois choisir et charger le tien.

Pour ta PME

Si ta PME a une ressource technique, vLLM peut servir à héberger un modèle sur tes propres serveurs, ce qui aide à garder tes données chez toi. C'est utile quand les renseignements sont sensibles, mais valide quand même tes obligations avec la Loi 25. Prévois aussi une validation humaine avant d'utiliser les réponses du modèle dans des décisions importantes.

Site officiel

Sources : Site officiel · mis à jour le 2026-11-06

Infolettre gratuite

« 5 prompts, 1 café »

Reçois 5 prompts prêts à copier chaque matin à 6 h 30.