특허 변호사 실험, AI 성과 향상과 학습 효과는 달랐다

미국 11개 로펌의 특허 변호사 133명을 대상으로 한 사전등록 무작위 실험에서 AI 보조를 받은 집단의 문서 품질은 90일째 대조군보다 0.38 표준편차 높았다. 전문가가 신원을 가리고 평가했으며 당장의 작성 성과 향상은 초급 변호사에게 더 컸다. 그러나 3개월 뒤 AI 없이 수행한 수정 과제의 평균 향상은 주로 선임 변호사에게서 나타났고 초급 집단은 평균적으로 개선되지 않았다. 이는 초급자의 능력이 모두 퇴화했다는 결과는 아니다. 짧은 기간과 제한된 표본을 고려하면 도입 시 산출물 품질과 독립적인 숙련도 형성을 따로 평가할 필요가 있다.