Guide de l'analyste
L'usine fabrique de petits modèles qui prennent une décision fermée à votre place : trier un message, choisir un service, qualifier une demande. Ce qui dit s'ils sont fiables, c'est vous.
Votre rôle
Vous fondez la garantie
Un modèle n'est garanti que sur des cas relus par une personne. Sans votre relecture, ses chiffres ne sont que des repères, pas des garanties.
Vous apportez le réel
Vos cas déjà tranchés (tickets, demandes, décisions) sont les meilleurs exemples qui soient. Un modèle entraîné sur des textes inventés se trompe sur les vrais.
Vous ne fabriquez pas les modèles
Entraîner, promouvoir, revenir en arrière : c'est l'administrateur de l'espace. Votre clé ne le permet pas, et c'est voulu : celui qui juge n'est pas celui qui fabrique.
Avant de commencer
- Votre invitation
L'administrateur de votre client vous remet un lien, qui ne sert qu'une fois et expire. Ouvrez-le, donnez votre nom : vous recevez votre clé personnelle, affichée une seule fois. Gardez-la dans un gestionnaire de mots de passe. - Une clé, à votre nom, pour tous vos espaces
Elle signe vos relectures : ne la partagez pas, et ne prenez pas celle d'un collègue. Perdue, l'administrateur la régénère (l'ancienne cesse aussitôt). - Connectez-vous
Console, avec votre clé. Si vous travaillez dans plusieurs espaces, choisissez-le en haut de la page. Vous arrivez sur « Mes tâches » : le travail qui vous attend, compté pour vous. - Faites-vous la main
Sur un espace de démonstration (tri de messages de support), avant de toucher aux vraies données : le parcours est le même.
Les règles
Relisez à l'aveugle
Ne regardez pas les étiquettes avant de relire le test : la console les cache. Une étiquette vue d'avance oriente la réponse, et la relecture ne vaut plus rien.
Jamais de texte écrit par un modèle au test
Le test ne contient que de vrais cas. Un texte généré, même bon, se note lui-même.
Le test n'est pas l'entraînement
Un texte ne peut pas être dans les deux : l'outil refuse les copies, et même les quasi-copies. Ne cherchez pas à contourner ce refus.
Ne corrigez pas pour faire monter un score
Votre réponse est celle que vous donneriez sans savoir ce que dit le modèle. Si le modèle a raison, tant mieux ; s'il a tort, c'est précieux.
Signalez une définition ambiguë
Si deux options se recouvrent pour un cas, ne tranchez pas seul : dites-le à l'administrateur. Une définition floue fait plus de dégâts qu'une erreur.
« Je ne sais pas » vaut mieux qu'un doute
Dans la vérification au hasard, un appel que vous ne savez pas trancher se marque « je ne sais pas ». Dans la relecture du test, passez-le.
Le parcours, étape par étape
Chaque question a un onglet « Parcours » qui reprend ces étapes, avec ce qui reste à faire.
- Comprendre la question
Ses options et leurs définitions, l'option prudente (rendue quand le modèle doute), les erreurs dangereuses (celles qui coûtent cher). Tout le reste en découle. - Relire le test en aveugle
Onglet Test figé, « Commencer la relecture » : un cas à la fois, sans son étiquette. Quelques secondes par cas. Les cas où d'autres relecteurs ont hésité passent d'abord. - Apporter des exemples
Onglet Importer : un fichier CSV ou JSONL de cas déjà tranchés. Vérifiez d'abord (rien n'est écrit), faites correspondre vos libellés aux options, puis importez. - Compléter la part garantie
Onglet Test figé, « Importer des cas de test » : de vrais cas, étiquetés par vous. Chacun va au hasard dans la part conception (visible) ou garantie (jamais montrée cas par cas). Seule la garantie relue permet de promettre un taux d'erreur. - Valider les lots générés
Onglet Fabrication, « Lots générés » : un échantillon tiré au hasard, relu à l'aveugle. Si vous y trouvez trop d'erreurs, le lot reste à relire en entier. - Vérifier l'usage au hasard
Onglet Retours : des appels réels tirés au hasard, étiquetés sans voir la réponse donnée. C'est la seule mesure honnête de l'erreur en production. - Relire les retours
Onglet Exemples, filtre « à relire » : ce que l'usage a fait remonter. Validez, corrigez ou rejetez, à l'unité ou en lot.
Un bon cas de test
Réel
Tel qu'il est arrivé, avec ses fautes et sa longueur. Ne le reformulez pas, ne le résumez pas.
Représentatif
Dans les proportions de l'usage : si 60 % des messages sont de la facturation, le test aussi. Un test fait seulement de cas difficiles rend un taux d'erreur trompeur.
Varié
Plusieurs auteurs, plusieurs périodes, plusieurs sources. Un seul rédacteur flatte n'importe quel modèle.
Assez nombreux
Avec zéro erreur sur n cas concernés par une erreur dangereuse, on ne garantit qu'un taux sous 3/n : 60 cas pour moins de 5 %, 300 pour moins de 1 %.
Le format des fichiers
CSV (séparateur deviné : point-virgule, virgule, tabulation) avec une colonne pour le texte et une pour la réponse, ou JSONL. Les noms de colonnes courants sont reconnus (message, texte, catégorie, réponse...). Chaque écran d'import propose un modèle à télécharger. La casse et les accents des réponses ne comptent pas ; vos propres libellés se font correspondre aux options.
Lire les chiffres
L'intervalle
« 83 % (entre 70 % et 91 %) » : sur 48 cas, la vraie valeur est quelque part dans cet intervalle, à 95 %. Deux versions dont les intervalles se recouvrent ne se départagent pas.
« Non significatif »
L'écart entre deux versions peut venir du hasard du test. Ce n'est pas « égal » : c'est « on ne sait pas ».
La marge garantie
Le seul chiffre qu'on peut promettre : il vient de la part garantie, relue par des humains, jamais regardée cas par cas.
Questions
Un collègue n'est pas d'accord avec moi sur un cas.
C'est normal, et c'est mesuré. Le cas passe « à arbitrer » et sort des mesures jusqu'à ce que l'administrateur tranche. Si vous pensez vous être trompé sur un cas déjà relu, signalez-le à l'administrateur : c'est lui qui arbitre.
L'import refuse une ligne « trop proche du test ».
Ce texte ressemble presque mot pour mot à un cas du test : l'apprendre reviendrait à connaître la réponse du test d'avance. C'est voulu.
Je ne vois pas le texte de certains cas du test.
Ce sont les cas de la part garantie : ils ne se montrent jamais cas par cas, pour que personne ne règle le modèle sur eux. Vous les relisez quand même, à l'aveugle, dans la relecture.
Le modèle me semble faux, que faire ?
Notez-le : un retour dans l'onglet Essayer, ou une relecture. Vous ne modifiez jamais le modèle directement : vos décisions deviennent des exemples, et l'administrateur décide d'entraîner et de promouvoir une nouvelle version, qui ne passe que si elle ne fait pas pire.
Mes données sortent-elles ?
Non. Chaque espace est isolé, et rien n'est envoyé ailleurs sans l'accord explicite de l'administrateur.