시험하고 다듬기
에이전트는 반복해서 다듬습니다. 하나를 바꾸고, 같은 작업을 돌리고, 비교합니다. Endue 는 프롬프트 리비전을 보관하므로 “돌아오기” 는 언제나 가능합니다.
언제 쓰는가
섹션 제목: “언제 쓰는가”에이전트가 거의 다 됐을 때입니다. 이 페이지가 막으려는 실패는 흔한 그것입니다. 한꺼번에 세 가지를 바꾸고, 에이전트가 한쪽으로는 나아지고 다른 쪽으로는 나빠지고, 무엇 때문인지 아무것도 짚을 수 없게 되는 것 말입니다.
통하는 루프
섹션 제목: “통하는 루프”- 다시 돌릴 작업을 하나 정해 둡니다. 예전에 시켜본 실제 요청 두세 개, 좋은 답을 보면 바로 알아볼 수 있는 것으로요. 이것이 시험 세트입니다. 없으면 “나아졌다” 는 느낌일 뿐입니다.
- 하나만 바꿉니다. 프롬프트든 모델이든 바인딩이든, 셋을 한꺼번에 바꾸지 마세요.
- 새 대화에서 같은 작업을 돌립니다. 새 대화여야 합니다. 기존 실은 기록을 안고 있어서 사용자의 수정과 무관하게 답이 달라집니다.
- 이전에 본 것과 비교합니다. 최종 텍스트만 보지 말고 도구 호출을 보세요. 프롬프트 변경은 대개 거기서 먼저 드러납니다.
- 유지하거나 되돌립니다. 더 나빠졌으면 이전 프롬프트 리비전으로 복원하고 다른 변경을 시도하세요.
무엇을 어떤 순서로 바꿀 것인가
섹션 제목: “무엇을 어떤 순서로 바꿀 것인가”위에서부터 내려가세요. 앞쪽일수록 들인 노력 대비 결과가 크게 움직입니다.
| 시도할 것 | 증상이 이럴 때 |
|---|---|
| 프롬프트의 “좋은 결과가 어떤 모습인지” 를 더 날카롭게 | 답은 맞는데 쓸 수가 없다 — 형식이 틀렸거나, 깊이가 안 맞거나, 요점이 묻힌다 |
| 지켜야 할 규칙 추가 | 특정 실수를 반복한다 |
| 커넥터나 스킬 바인딩 | 찾아봐야 할 것을 추측한다 |
| 내장 툴 그룹 끄기 | 이 에이전트에겐 잡음인 능력에 자꾸 손을 뻗는다 |
| 추론 강도 올리기 | 긴 작업에서 단계를 빠뜨린다 |
| 모델 변경 | 위가 다 맞는데도 작업을 따라오지 못한다 |
| 두 에이전트로 분리 | 프롬프트가 무관한 일 두 가지를 담느라 길어졌다 |
실행을 읽어 진단하기
섹션 제목: “실행을 읽어 진단하기”“에이전트가 별로다” 라는 문제는 대개 실행 자체에 드러나 있습니다.
- 도구를 하나도 안 불렀다. 기억만으로 답해야 한다고 판단한 것입니다. 보통은 프롬프트 문제, 가끔은 바인딩 누락입니다.
- 맞는 도구를 나쁜 인자로 불렀다. 맥락이 부족합니다. 프롬프트에 적거나 메모리에 저장하세요.
- 도구를 계속 부르면서 수렴하지 않는다. 작업 정의가 부족하거나, 길이에 비해 추론 강도가 낮습니다.
- 알아야 할 것을 나에게 물었다. 그 사실은 프롬프트나 메모리에 있어야 합니다.
- 내장된 평가 도구나 자동 채점은 없습니다. 비교는 사용자가 고른 작업을 놓고 직접 합니다.
- 초안 모드가 없습니다. 에이전트에는 살아 있는 설정 하나만 있고 변경은 다음 실행부터 적용됩니다. 의지하고 있는 에이전트를 건드리지 않고 위험한 시도를 하려면 사본을 만들어 거기서 실험하세요.
- 리비전 기록은 시스템 프롬프트에 대한 것입니다. 모델·바인딩·도구 그룹 같은 다른 설정에는 버전이 남지 않으니 무엇을 바꿨는지 적어두세요.
관련 문서
섹션 제목: “관련 문서”시스템 프롬프트와 리비전가장 자주 당기게 될 지렛대, 그리고 되돌리는 법.
실행에이전트가 실제로 무엇을 했는지 단계별로 읽기.
실행 중 방향 잡기도는 실행을 바로잡기, 그리고 그것이 알려주는 것.