Choisir un modèle
Chaque exécution est pilotée par un modèle. endue propose un catalogue issu de plusieurs fournisseurs, et c’est vous qui choisissez celui qu’utilise un agent, par défaut ou pour un seul message.
Quand l’utiliser
Section intitulée « Quand l’utiliser »Changez de modèle quand c’est le raisonnement de l’agent qui pose problème : il oublie des étapes dans une tâche longue, ou il est lent et coûteux pour un travail vraiment simple. Si l’agent fait le mauvais travail plutôt que de mal faire le bon, corrigez d’abord le prompt système : un modèle plus gros suit une consigne vague avec la même fidélité.
Le catalogue
Section intitulée « Le catalogue »Le sélecteur de modèle liste ce qui est disponible, avec les informations qui décident vraiment du choix : fenêtre de contexte, prix d’entrée et de sortie par million de jetons, ce que le modèle accepte (texte, images, fichiers) et la prise en charge ou non de l’appel d’outils.
L’appel d’outils est le critère à vérifier. Un agent endue travaille en appelant des outils. Un modèle qui ne prend pas en charge l’appel d’outils peut répondre avec ce qu’il sait déjà, mais il ne peut ni chercher dans vos e-mails, ni rédiger un livrable, ni utiliser un connecteur. Ces modèles sont signalés dans le sélecteur.
Effort de raisonnement
Section intitulée « Effort de raisonnement »Certains modèles proposent un réglage d’effort de raisonnement : la quantité de réflexion qu’ils fournissent avant de répondre. Un effort plus élevé consomme plus de jetons et prend plus de temps ; il est rentable sur un travail en plusieurs étapes, où une mauvaise décision au départ gâche le reste de l’exécution.
Quelques repères :
| Travail | Effort |
|---|---|
| Reformatage, extraction, classification, réponses courtes | Faible |
| Tâches courantes en plusieurs étapes avec quelques appels d’outils | Moyen |
| Longues chaînes où une erreur initiale s’aggrave : recherche, planification, débogage | Élevé |
Par agent, par message, par routine
Section intitulée « Par agent, par message, par routine »Trois endroits permettent de définir un modèle, chacun prenant le pas sur celui qui le précède :
- Le modèle par défaut de l’agent, dans Agent Builder : celui qu’il utilise sauf indication contraire.
- Un seul message, depuis la zone de saisie : pratique pour une question difficile au milieu d’une conversation avec un agent économique.
- Une routine, qui peut fixer son propre modèle pour qu’une tâche planifiée ne change pas de coût quand vous réajustez l’agent.
Choisir un modèle pour chaque demande
Section intitulée « Choisir un modèle pour chaque demande »Activez la sélection automatique pour qu’un modèle de décision évalue chaque message sur trois niveaux de difficulté. Vous choisissez le modèle utilisé pour chaque niveau dans la section Modèle de l’Agent Builder.
| Niveau | Modèle utilisé |
|---|---|
| Simple : salutation, fait bref ou reformulation d’une ligne | Le modèle choisi pour les demandes simples |
| Standard : explications, résumés, rédaction et code courants | Le modèle par défaut de l’agent |
| Difficile : analyse en plusieurs étapes, rédaction longue et précise, code complexe | Le modèle choisi pour les demandes difficiles |
Vous pouvez renseigner un seul des deux modèles supplémentaires. Un niveau sans modèle utilise celui par défaut.
- Désactivé : aucune évaluation.
- Observer : les messages sont évalués sans changer de modèle. Chaque réponse indique « Auto would use » et le modèle qui aurait été choisi.
- Activé : l’évaluation choisit le modèle. Le sélecteur dans la zone de saisie commence sur Auto et chaque réponse indique le modèle employé.
Avant d’enregistrer, saisissez une phrase dans Essayer pour voir son niveau et le modèle prévu. Le modèle par défaut répond si l’évaluation est sous le seuil de confiance fixé, n’arrive pas à temps, ou si le modèle choisi n’est pas disponible dans votre offre ou votre limite restante. La réponse n’attend pas indéfiniment l’évaluation.
Un message avec pièce jointe, ou envoyé juste après une demande difficile, n’est jamais rétrogradé vers le modèle simple. « Continue » est court, mais la tâche poursuivie ne l’est pas forcément.
Le choix manuel d’un modèle dans la zone de saisie fixe ce modèle pour la conversation. Choisissez de nouveau Auto pour libérer ce choix. Une conversation dans un projet doté de son propre modèle par défaut suit celui du projet.
La sélection automatique ne concerne que les messages envoyés par une personne. Les routines et les conversations vocales ne sont pas évaluées et utilisent leur modèle configuré.
C’est l’utilisation des modèles qui consomme le quota de votre offre, et les prix varient de plus d’un ordre de grandeur d’un bout à l’autre du catalogue. Le sélecteur affiche les prix d’entrée et de sortie de chaque modèle. Consultez Offres et utilisation pour savoir comment l’utilisation est mesurée et où la suivre, et Utiliser votre propre clé si vous préférez payer directement le fournisseur.
- Tous les modèles ne prennent pas en charge toutes les fonctionnalités. L’appel d’outils, l’entrée d’images et l’effort de raisonnement varient selon le modèle, et le sélecteur fait foi.
- Changer de modèle ne modifie ni le prompt, ni la mémoire, ni les associations de l’agent.
- Une exécution en cours conserve le modèle avec lequel elle a démarré. Un changement de modèle s’applique à l’exécution suivante.
- Les fenêtres de contexte diffèrent. Une très longue conversation qui tient dans un modèle peut ne pas tenir dans un autre.