Arthur, mon assistant personnel, aiguille avec un petit modèle et converse avec un grand — un choix jamais mesuré. Trois échecs concrets, et une question qui a changé de forme : pas si le modèle a raison, mais si je peux le prouver.
Le choix du modèle n'était pas une mesure
Arthur est un assistant personnel multi-agents que j'utilise au quotidien. Deux modèles y tournent. mistral-small-latest classe la demande : est-ce pour l'Intendant, qui range et restitue, ou pour le Mentor, qui suit les projets ? mistral-large-latest tient ensuite toute la conversation.
Ce partage vient d'un raisonnement, pas d'une mesure. Le grand modèle m'a semblé nécessaire à cause du nombre d'outils, des préférences à garder en tête et des décisions à enchaîner. Le petit m'a semblé suffisant pour trancher entre deux destinations. Rien de tout cela n'a été comparé.
Ce que « faire le travail » veut dire ici
Arthur me sert de seconde mémoire d'organisation. Il note les rappels, les dates, les heures. Il les restitue à la demande, à l'écrit ou à l'oral.
Le critère de conception numéro un n'est donc pas la performance : c'est l'exactitude. Noter exactement ce que j'ai dit, sans reformuler, sans rien déplacer.
Trois échecs mesurés
Un mot substitué, le 20 août. Je dicte « rappelle-moi de renvoyer le dossier ». Ce qui est écrit en base : « envoyer le dossier ». Un mot, et une deuxième fois devient une première. L'écriture a réussi, l'échéance était correcte, la trace paraissait parfaite. Le matin même, la même phrase avait donné le bon libellé.
Un mauvais jour, le même jour. Je demande « vendredi », le contexte indique jeudi 20. Le rappel est créé pour le samedi 22.
Un routage instable. La même phrase est partie vers l'Intendant, puis vers le Mentor vingt minutes plus tard. Le routeur a aussi produit un mot tronqué qui a fait tomber toute la réponse.
Le premier et le deuxième viennent du grand modèle. Le troisième, du petit.
La fiabilité n'est pas venue d'un modèle plus gros
Pour les dates, j'ai retiré le calcul au modèle. Une fonction de code résout les jours relatifs, avec ses tests. Ce n'est pas qu'un modèle plus gros se tromperait davantage : c'est que je ne peux pas le prouver. Un modèle est stochastique, il peut répondre deux choses différentes à la même question. Une fonction déterministe rend toujours le même résultat pour la même entrée, et ça se teste.
La question a changé de forme. Non pas « le modèle peut-il avoir raison ? », mais « puis-je démontrer qu'il a raison ? ».
Le même réflexe a produit le reste : quand un outil refuse, c'est le code qui rédige la réponse, pas le modèle. Il ne peut plus commenter ce qu'il vient de rater.
Le mot substitué, lui, reste ouvert. Aucun de ces leviers ne l'attrape : rien n'a échoué, donc rien ne se déclenche. Comparer en code le texte dicté et le texte écrit signalerait à tort les reformulations légitimes, comme une mise à l'infinitif. Je veux d'abord mesurer à quelle fréquence ça arrive.
Ce qui n'a pas été mesuré
Le grand modèle est-il nécessaire ? Ça n'a pas été mesuré. Je peux décrire ce qu'il fait bien — enchaîner plusieurs outils sur plusieurs tours, repérer l'action cachée dans une phrase — mais je n'ai jamais vérifié qu'un plus petit y échouerait.
Le test est pourtant peu coûteux : remplacer le modèle de conversation, rejouer les mêmes recettes en conversation neuve, comparer. Une seule variable change.
Dix échanges tracés les 8 et 9 septembre donnent 0,003 à 0,008 dollar chacun, sous un plafond de 10 € par mois. L'enjeu n'est pas le montant. C'est qu'une conviction non mesurée reste une conviction.