콘텐츠로 이동
EndueEndue
문서

시험하고 다듬기

Markdown 으로 보기

에이전트는 반복해서 다듬습니다. 하나를 바꾸고, 같은 작업을 돌리고, 비교합니다. Endue 는 프롬프트 리비전을 보관하므로 “돌아오기” 는 언제나 가능합니다.

에이전트가 거의 다 됐을 때입니다. 이 페이지가 막으려는 실패는 흔한 그것입니다. 한꺼번에 세 가지를 바꾸고, 에이전트가 한쪽으로는 나아지고 다른 쪽으로는 나빠지고, 무엇 때문인지 아무것도 짚을 수 없게 되는 것 말입니다.

  1. 다시 돌릴 작업을 하나 정해 둡니다. 예전에 시켜본 실제 요청 두세 개, 좋은 답을 보면 바로 알아볼 수 있는 것으로요. 이것이 시험 세트입니다. 없으면 “나아졌다” 는 느낌일 뿐입니다.
  2. 하나만 바꿉니다. 프롬프트든 모델이든 바인딩이든, 셋을 한꺼번에 바꾸지 마세요.
  3. 새 대화에서 같은 작업을 돌립니다.대화여야 합니다. 기존 실은 기록을 안고 있어서 사용자의 수정과 무관하게 답이 달라집니다.
  4. 이전에 본 것과 비교합니다. 최종 텍스트만 보지 말고 도구 호출을 보세요. 프롬프트 변경은 대개 거기서 먼저 드러납니다.
  5. 유지하거나 되돌립니다. 더 나빠졌으면 이전 프롬프트 리비전으로 복원하고 다른 변경을 시도하세요.

무엇을 어떤 순서로 바꿀 것인가

섹션 제목: “무엇을 어떤 순서로 바꿀 것인가”

위에서부터 내려가세요. 앞쪽일수록 들인 노력 대비 결과가 크게 움직입니다.

시도할 것증상이 이럴 때
프롬프트의 “좋은 결과가 어떤 모습인지” 를 더 날카롭게답은 맞는데 쓸 수가 없다 — 형식이 틀렸거나, 깊이가 안 맞거나, 요점이 묻힌다
지켜야 할 규칙 추가특정 실수를 반복한다
커넥터나 스킬 바인딩찾아봐야 할 것을 추측한다
내장 툴 그룹 끄기이 에이전트에겐 잡음인 능력에 자꾸 손을 뻗는다
추론 강도 올리기긴 작업에서 단계를 빠뜨린다
모델 변경위가 다 맞는데도 작업을 따라오지 못한다
두 에이전트로 분리프롬프트가 무관한 일 두 가지를 담느라 길어졌다

“에이전트가 별로다” 라는 문제는 대개 실행 자체에 드러나 있습니다.

  • 도구를 하나도 안 불렀다. 기억만으로 답해야 한다고 판단한 것입니다. 보통은 프롬프트 문제, 가끔은 바인딩 누락입니다.
  • 맞는 도구를 나쁜 인자로 불렀다. 맥락이 부족합니다. 프롬프트에 적거나 메모리에 저장하세요.
  • 도구를 계속 부르면서 수렴하지 않는다. 작업 정의가 부족하거나, 길이에 비해 추론 강도가 낮습니다.
  • 알아야 할 것을 나에게 물었다. 그 사실은 프롬프트나 메모리에 있어야 합니다.
  • 내장된 평가 도구나 자동 채점은 없습니다. 비교는 사용자가 고른 작업을 놓고 직접 합니다.
  • 초안 모드가 없습니다. 에이전트에는 살아 있는 설정 하나만 있고 변경은 다음 실행부터 적용됩니다. 의지하고 있는 에이전트를 건드리지 않고 위험한 시도를 하려면 사본을 만들어 거기서 실험하세요.
  • 리비전 기록은 시스템 프롬프트에 대한 것입니다. 모델·바인딩·도구 그룹 같은 다른 설정에는 버전이 남지 않으니 무엇을 바꿨는지 적어두세요.