En clair
Une entreprise envoie chaque mois des centaines de comptes-rendus à un modèle d'IA pour les résumer. La facture de l'API ne se compte ni en pages ni en mots, mais en tokens : ceux du texte envoyé et ceux du résumé produit. Raccourcir les consignes et ne transmettre que le nécessaire fait baisser la facture.
Comment ça marche
Découper le texte
Avant d'être traité, le texte est découpé en tokens par un outil appelé tokeniseur. Les mots fréquents forment souvent un seul token. Les mots rares ou longs sont coupés en plusieurs morceaux. Chaque token correspond à un numéro dans le vocabulaire du modèle.
Produire la réponse token par token
Le modèle génère sa réponse un token à la fois, en choisissant chaque fois une suite probable. C'est ce qui donne l'effet d'un texte qui s'écrit en direct dans les assistants.
Ce que les tokens limitent
La fenêtre de contexte, la longueur maximale d'une réponse et le prix d'un appel d'API se mesurent tous en tokens.
