Memdoor의 team-solve 예제는 계획자, 아이디어 제안자 2명, 해결자, 관리자와 보수 단계를 나누고 새 컨텍스트와 파일로 협업한다. 공개 실험은 LiveCodeBench Hard 앞 10문제를 다섯 번씩 풀어 50회 중 49회 통과했으며 판정은 모델이 아닌 셸 채점기로 수행했다. 관련 보도도 높은 성적을 소개했지만 비교 수치는 같은 실행 환경에서 재측정한 결과가 아니다. 저장소는 과거 대회 문제의 학습 오염 가능성을 명시했고 실행 시간 중앙값은 약 40분, 최장은 4시간에 달했다. 성적뿐 아니라 지연과 재현 조건까지 비교해야 한다.
테크로 돌아가기
Memdoor 다중 에이전트, 코딩 10문제 반복 평가 49회 통과
분리된 역할과 파일 협업 사례지만 작은 표본과 오염 가능성 때문에 모델 전반의 우열로 볼 수 없습니다.