Goodfire가 모델의 출력 전체를 별도 AI로 재검토하는 대신 내부 활성 신호를 작은 탐지기로 감시하는 서비스를 Baseten 고객에게 제공한다. 의심 신호가 나오면 추가 모델이나 사람의 검토로 넘기고, 운영자가 기록과 검토 및 거부 방식을 정할 수 있다. Kimi K3를 대상으로 한 자체 시험에서 악성 해킹 세션의 94%를 잡았지만 정상 세션 8.7%도 재검토 대상으로 분류했다. 비용과 지연 이점은 특정 실험 결과이며 다른 모델과 작업에 그대로 보장되지 않는다.
Tech로 돌아가기
Tech
Goodfire, 내부 신호로 AI 에이전트 위험 감시
내부 신호 감시는 비용을 줄일 수 있지만 탐지 누락과 정상 작업 재검토의 절충을 평가해야 한다.