NVIDIA 등 연구진이 다중 턴 에이전트의 결정적 실수 예방과 후속 복구를 함께 가르치는 PivotOPD를 제안했다. 교사 모델이 잘못된 행동과 복구 행동을 지정해 서로 다른 증류 손실로 학습한다. 같은 오류를 재현한 평가에서 복구율은 72.7%로 기존 on-policy 증류의 20.3%보다 높았다. SWE-Bench Verified 해결률도 62.8%에서 66.0%로 올랐지만 이 실험은 예방 단계만 사용했으며, 코드는 아직 공개 예정으로 표시돼 있다.
Tech로 돌아가기
Tech
PivotOPD, 에이전트의 결정적 실수 이후 복구를 학습
에이전트 훈련에는 실수를 줄이는 목표와 이미 잘못된 상태에서 회복하는 목표를 나눠 볼 가치가 있다.