L'annonce a été quelque peu éclipsée : elle n'a pourtant rien d'anodin. En mars dernier, alors qu'il annonçait sa nouvelle génération de microprocesseurs Blackwell, surpuissants et taillés pour l'entraînement de modèles d'IA de pointe, le dirigeant de Nvidia, Jensen Huang, évoquait également l'ajout d'un nouveau service à sa suite logicielle.

Baptisé NIM, pour Nvidia Inference Microservice, il vise à aider les entreprises à tirer le maximum de leurs GPUs Nvidia issues des générations précédentes pour utiliser l'intelligence artificielle (IA) au quotidien.

Qu'est-ce que l'inférence ?

Dans le monde de l'IA, l'inférence correspond au processus qu'un modèle d'apprentissage automatique déjà entraîné utilise pour tirer des conclusions à partir de nouvelles données. Il s'agit en somme, pour une entreprise, de faire tourner un algorithme d'IA pour répondre à des cas d'usage concrets. L'inférence fait suite à l'entraînement, le processus qui consiste à nourrir un modèle d'immenses quantités de données jusqu'à ce qu'il parvienne à accomplir une tâche spécifique. OpenAI a par exemple dû longuement entraîner ChatGPT avant de le faire découvrir au grand public.

Mais lorsqu'une entreprise utilise ChatGPT pour construire un chatbot chargé de faire du service client, elle n'a pas besoin de réentraîner le modèle. Elle va simplement recalibrer celui-ci pour qu'il fonctionne sur un socle de données plus restreint, celui de l'entreprise, et le faire tourner pour répondre aux questions des client