Alteryx 제품 책임자는 기업 AI 비용을 줄이려면 더 싼 모델을 고르는 일에 앞서 연산 구조를 통제해야 한다고 제안했다. 반복적인 업무 규칙과 계산은 결정적인 데이터 처리 흐름에 맡기고 언어모델은 해석과 설명 등 필요한 부분에 사용하는 방식이다. 같은 계산을 여러 번 생성형 모델에 요청하는 낭비를 줄이려는 운영 관점이다. 공급사 관계자의 기고를 정리한 내용이며 특정 설계의 비용 절감률이 독립 실험으로 입증됐다는 보도는 아니다.
Tech로 돌아가기
Tech
기업 AI 비용 관리, 반복 계산과 언어 추론을 나누자는 제안
반복 계산은 재현 가능한 처리로 분리하고 언어모델을 필요한 판단과 설명에 배치한다.