Modell wählen
Jede Ausführung wird von einem Modell angetrieben. endue bietet einen Katalog mit Modellen mehrerer Anbieter, und du wählst, welches ein Agent nutzt: als Standard oder für eine einzelne Nachricht.
Wann du das Modell wechselst
Abschnitt betitelt „Wann du das Modell wechselst“Wechsle das Modell, wenn das Denken des Agenten das Problem ist: Er lässt bei einer langen Aufgabe Schritte aus, oder er ist für Arbeit, die wirklich einfach ist, langsam und teuer. Wenn der Agent das Falsche tut, statt das Richtige schlecht zu tun, korrigiere zuerst den Systemprompt. Ein größeres Modell befolgt eine vage Anweisung genauso gewissenhaft.
Der Katalog
Abschnitt betitelt „Der Katalog“Die Modellauswahl listet auf, was verfügbar ist, mit den Angaben, die wirklich über die Wahl entscheiden: Kontextfenster, Eingabe- und Ausgabepreis pro Million Tokens, was das Modell annimmt (Text, Bilder, Dateien) und ob es Tool-Aufrufe unterstützt.
Achte vor allem auf Tool-Aufrufe. Ein Agent in endue arbeitet, indem er Tools aufruft. Ein Modell ohne Unterstützung für Tool-Aufrufe kann mit dem antworten, was es schon weiß, aber es kann weder deine E-Mails durchsuchen noch einen Output schreiben oder einen Connector nutzen. Solche Modelle sind in der Auswahl gekennzeichnet.
Denkaufwand
Abschnitt betitelt „Denkaufwand“Manche Modelle bieten eine Einstellung für den Denkaufwand: wie viel sie nachdenken, bevor sie antworten. Mehr Aufwand kostet mehr Tokens und dauert länger. Er zahlt sich bei mehrstufiger Arbeit aus, in der eine frühe Fehlentscheidung den Rest der Ausführung wertlos macht.
Eine grobe Orientierung:
| Arbeit | Aufwand |
|---|---|
| Umformatieren, Extrahieren, Klassifizieren, kurze Antworten | Niedrig |
| Alltägliche mehrstufige Aufgaben mit einer Handvoll Tool-Aufrufen | Mittel |
| Lange Ketten, in denen sich ein früher Fehler aufschaukelt, etwa Recherche, Planung, Debugging | Hoch |
Pro Agent, pro Nachricht, pro Routine
Abschnitt betitelt „Pro Agent, pro Nachricht, pro Routine“An drei Stellen lässt sich ein Modell festlegen, und jede überschreibt die Stelle darüber:
- Der Standard des Agenten im Agent Builder: das Modell, das er nutzt, solange nichts anderes angegeben ist.
- Eine einzelne Nachricht über das Eingabefeld: praktisch für eine schwierige Frage in der Unterhaltung mit einem günstigen Agenten.
- Eine Routine, die ihr eigenes Modell festlegen kann, damit sich die Kosten eines geplanten Jobs nicht ändern, wenn du den Agenten neu abstimmst.
Ein Modell für jede Anfrage auswählen
Abschnitt betitelt „Ein Modell für jede Anfrage auswählen“Mit Automatische Auswahl bewertet ein Entscheidungsmodell jede eingehende Nachricht auf drei Schwierigkeitsstufen. Du legst fest, welches Modell die jeweilige Stufe beantwortet. Die Einstellung findest du im Modellbereich des Agent Builders.
| Stufe | Verwendetes Modell |
|---|---|
| Leicht – Begrüßung, kurze Fakten oder eine Umformulierung in einem Satz | Das Modell für leichte Anfragen |
| Standard – Erklärungen, Zusammenfassungen, gewöhnliche Texte und Code | Das Standardmodell des Agenten |
| Schwer – mehrstufige Analysen, lange präzise Texte oder komplexer Code | Das Modell für schwere Anfragen |
Du kannst auch nur eines der beiden zusätzlichen Modelle festlegen. Bei einer leeren Stufe verwendet der Agent sein Standardmodell.
- Aus: Keine Bewertung.
- Beobachten: Nachrichten werden bewertet, aber das Modell bleibt gleich. Bei jeder Antwort zeigt „Auto would use“, welches Modell verwendet würde.
- An: Die Bewertung wählt das Modell. Die Modellauswahl im Eingabefeld beginnt bei Auto; jede Antwort zeigt das tatsächlich verwendete Modell.
Gib vor dem Speichern einen Satz unter Ausprobieren ein, um Stufe und Modell zu sehen. Das Standardmodell antwortet, wenn die Bewertung unter deiner Konfidenzschwelle liegt, nicht rechtzeitig zurückkommt oder das gewählte Modell mit deinem Tarif oder verbleibenden Limit nicht verfügbar ist. Die Antwort wartet nicht auf die Bewertung.
Nachrichten mit Anhang und Nachrichten direkt nach einer schweren Anfrage werden nie auf das leichte Modell heruntergestuft. „Mach weiter“ ist kurz, die fortgesetzte Aufgabe aber nicht unbedingt leicht.
Wählst du im Eingabefeld ein Modell von Hand, bleibt die Unterhaltung bei diesem Modell. Wähle wieder Auto, um die Festlegung aufzuheben. Unterhaltungen in einem Projekt mit eigenem Standardmodell folgen dem Modell des Projekts.
Die automatische Auswahl gilt nur für Nachrichten von Menschen. Routinen und Sprachunterhaltungen werden nicht bewertet und laufen mit ihrem eingestellten Modell.
Die Modellnutzung ist das, was das Kontingent deines Tarifs verbraucht, und die Preise im Katalog unterscheiden sich um mehr als eine Größenordnung. Die Auswahl zeigt für jedes Modell den Eingabe- und den Ausgabepreis. Wie die Nutzung gemessen wird und wo du sie verfolgst, steht unter Tarife und Nutzung. Wenn du den Anbieter lieber direkt bezahlen willst, sieh dir Eigenen API-Schlüssel nutzen an.
Einschränkungen
Abschnitt betitelt „Einschränkungen“- Nicht jedes Modell unterstützt jede Fähigkeit. Tool-Aufrufe, Bildeingabe und Denkaufwand unterscheiden sich je nach Modell, und maßgeblich ist die Modellauswahl.
- Ein Modellwechsel ändert weder Prompt noch Gedächtnis noch Zuweisungen des Agenten.
- Eine laufende Ausführung behält das Modell, mit dem sie gestartet ist. Ein Wechsel gilt ab der nächsten Ausführung.
- Kontextfenster sind unterschiedlich groß. Eine sehr lange Unterhaltung, die in das eine Modell passt, passt womöglich nicht in ein anderes.