La fenêtre de contexte
Un modèle lit une quantité fixe de texte par requête : c’est sa fenêtre de contexte. Tout ce dont l’agent a besoin doit y tenir, à savoir ses instructions, sa mémoire, les outils qu’il peut appeler, votre conversation et vos pièces jointes.
La zone de saisie indique à quel point cette fenêtre est remplie, et le panneau de contexte montre ce qui la remplit.
Pourquoi c’est important
Section intitulée « Pourquoi c’est important »Deux choses se dégradent à mesure que la fenêtre se remplit :
- Les messages les plus anciens sont coupés. L’agent ne voit plus le début d’un long fil.
- Chaque étape coûte plus cher. Le contexte entier est renvoyé à chaque étape d’une exécution : une conversation lourde est donc plus lente et plus coûteuse.
Un agent qui « oublie ce qu’on s’est dit au début » souffre presque toujours d’une fenêtre pleine, pas d’une mémoire défaillante.
Ce qui occupe la place
Section intitulée « Ce qui occupe la place »Le panneau découpe la fenêtre en segments :
| Segment | Ce que c’est |
|---|---|
| Instructions système | Le cadre qu’endue place autour de chaque exécution |
| Identité | Le nom, le caractère et le profil de l’agent |
| Instructions de l’agent | Son prompt système, dans sa révision actuelle |
| Instructions des compétences | Les compétences dont le contenu est une consigne permanente plutôt qu’une commande |
| Mémoire | Les souvenirs pertinents pour cette conversation |
| Définitions des outils | Le schéma de chaque outil que l’agent peut appeler |
| Messages de la conversation | Ce que vous et l’agent avez échangé |
| Médias joints | Les pièces jointes, comptées à part des messages |
Les outils sont détaillés plus finement : chaque compétence, connecteur, groupe d’outils intégrés et appareil indique ce que coûte l’exposition de ses définitions, combien de fois il a été appelé lors de la dernière exécution et ce que pesaient ses résultats. C’est ce qui permet de distinguer « cet outil coûte cher à proposer » de « cet outil a renvoyé beaucoup de contenu ».
Mesure ou projection
Section intitulée « Mesure ou projection »Avant la première exécution, il n’y a rien à mesurer : le chiffre est donc une projection de ce que contiendrait la prochaine requête. Après une exécution, c’est ce que cette requête contenait réellement.
Le panneau indique lequel des deux vous avez sous les yeux. Qu’une projection diffère ensuite de la mesure est normal : l’agent peut faire intervenir un souvenir ou un résultat d’outil impossible à prévoir.
Ressources
Section intitulée « Ressources »Le panneau liste aussi les pièces jointes chargées dans cette conversation. En sélectionner une fait défiler jusqu’au message qui l’accompagnait : c’est le moyen le plus rapide de retrouver « la capture d’écran de tout à l’heure » dans un long fil.
Quand la fenêtre est pleine
Section intitulée « Quand la fenêtre est pleine »À peu près par ordre d’efficacité :
- Commencez une nouvelle conversation. C’est de loin le geste le plus efficace : un nouveau fil n’emporte aucun des anciens messages.
- Déplacez les faits durables dans la mémoire ou le projet avant de le faire, pour ne pas avoir à tout réexpliquer dans le fil suivant.
- Dissociez les outils que l’agent n’utilise pas. Leurs définitions sont renvoyées à chaque étape, qu’ils soient appelés ou non.
- Choisissez un modèle doté d’une plus grande fenêtre : le sélecteur affiche la taille de chaque modèle. Vous gagnez de la place, mais un fil qui s’éparpille ne devient pas plus ciblé pour autant.
- La taille de la fenêtre dépend du modèle. Changer de modèle change le plafond.
- La coupe supprime d’abord les messages les plus anciens ; elle ne les résume pas.
- Le détail reflète la dernière exécution. Les changements faits ensuite, comme associer un outil ou modifier le prompt, apparaissent à la suivante.