Agents IA
Coût et latence d'un agent
Dimensionner un agent selon son budget et le délai de réponse attendu : le plus gros modèle et tous les outils servent rarement.
Chaque étape d'un agent coûte de l'argent et du temps : chaque source lue, chaque appel d'outil, chaque réponse du modèle. Une chaîne élégante sur le papier peut prendre une minute et coûter cher par cas une fois lancée des milliers de fois.
Le modèle le plus puissant n'est pas toujours le bon : un modèle plus petit suffit souvent pour trier ou rédiger, et une simple règle ou un script est plus rapide et moins cher pour une étape déterministe. Les pics de volume multiplient chaque excès.
Partez du budget et du délai que le métier attend, prenez le plus petit modèle qui tient la tâche, retirez les étapes qui ne changent pas le résultat et vérifiez le coût d'une journée chargée avant la mise en production.
Dans les rapports de vos jeux, chaque réponse liée à cette compétence compte : la compétence est dite acquise à partir de 80 % de bonnes réponses, en progrès à partir de 50 %.
Jeux qui entraînent cette compétence
Jouez-y gratuitement et sans compte, puis adaptez-les à vos équipes.
