Aller au contenu

1.7 — Choisir un assistant sans chercher un vainqueur absolu

Les produits et leurs modèles changent vite. Retenir un classement ou un numéro de version vous aidera moins que savoir tester un outil sur votre propre tâche.

  • Le produit est l’application que vous ouvrez.
  • Le modèle est le moteur qui génère la réponse.
  • Les fonctions sont les capacités ajoutées : recherche web, lecture de fichiers, images, mémoire, connecteurs ou exécution de code.

Deux personnes utilisant le même produit peuvent obtenir des résultats différents si elles n’utilisent pas le même modèle, les mêmes fonctions ou les mêmes instructions.

Choisissez deux assistants auxquels vous avez légalement accès. Utilisez exactement :

  • la même demande ;
  • le même document anonymisé ;
  • le même format attendu ;
  • trois cas de test ;
  • la même grille de notation.

Pour Atelier Nova, la grille pourrait être :

Critère 0 point 1 point 2 points
Exactitude invente une règle reste vague s’appuie sur la règle fournie
Informations manquantes les ignore en détecte une partie les liste clairement
Respect des limites promet une action formulation ambiguë brouillon sans promesse
Ton inadapté acceptable empathique et professionnel

Additionnez les scores, mais conservez les réponses : le chiffre seul n’explique pas les erreurs.

La qualité d’une réponse n’est pas le seul critère. Vérifiez également :

  • les conditions d’utilisation des données ;
  • les fonctions disponibles dans votre abonnement ;
  • le coût et les limites d’usage ;
  • l’administration des comptes ;
  • la localisation et la conservation des données ;
  • la possibilité d’obtenir des traces et de désactiver une fonction.

Demandez à deux assistants de transformer le message de la chaise cassée en tableau contenant : intention, urgence, informations_manquantes, action_proposée et validation_requise.

Notez chaque résultat avec la grille précédente. Le gagnant de ce test n’est pas « la meilleure IA du monde » : c’est le meilleur candidat pour ce cas précis, ce jour-là, avec cette configuration.

Réflexe professionnel : documentez le produit, le modèle si celui-ci est affiché, la date et les paramètres du test. Vous pourrez alors reproduire la comparaison après une mise à jour.

Inscrivez vos quatre critères prioritaires de sélection et le résultat de votre premier comparatif.

Comment évaluez-vous cette leçon ?
📝 Ma note

Une formationBaxIA