Ai2의 FairStress는 29개 영역의 두 후보 비교 시나리오 300개를 인구학적 속성과 설득 문구로 변형해 1,300만 건 이상을 평가하고, 5만 건의 축약판도 제공한다. 연구팀은 속성 정보가 명시됐을 때 같은 근거의 결론을 뒤집는 정도가 집단에 따라 달라지는 현상을 보고했다. 선택 결과뿐 아니라 설명과 일부 모델 내부 표현도 분석한다. 동등한 증거에 대한 대칭적 공정성을 측정하므로 모든 형평성 관점을 포괄하는 평가는 아니다.
테크
같은 결론을 내렸다는 사실만으로는 집단별로 결정을 번복하는 차이를 놓칠 수 있습니다.
Ai2의 FairStress는 29개 영역의 두 후보 비교 시나리오 300개를 인구학적 속성과 설득 문구로 변형해 1,300만 건 이상을 평가하고, 5만 건의 축약판도 제공한다. 연구팀은 속성 정보가 명시됐을 때 같은 근거의 결론을 뒤집는 정도가 집단에 따라 달라지는 현상을 보고했다. 선택 결과뿐 아니라 설명과 일부 모델 내부 표현도 분석한다. 동등한 증거에 대한 대칭적 공정성을 측정하므로 모든 형평성 관점을 포괄하는 평가는 아니다.