Salesforce는 하루 약 800만 회 실행되는 Data 360의 Spark 작업을 계측해 초기 실행기와 최대 실행기 수를 조정한 사례를 공개했다. 한 작업의 초기 할당을 40개에서 4개로 낮추고 유휴 비율이 높은 작업군의 상한도 줄였다. 대상 작업군의 전후 4주 비교에서 주간 비용 규모는 31% 감소하고 실행 시작 건수는 7% 늘었으나 통제 실험은 아니다. Spark 공식 문서상 별도로 지정한 실행기 수가 초기값보다 크면 우선할 수 있어 설정값 하나만 바꿔 같은 절감률을 기대할 수 없다.
테크로 돌아가기
테크
Salesforce, Spark 실행 자원 조정으로 비용 절감 보고
유휴 자원과 초기 할당을 계측한 뒤 작업군별로 줄여야 비용과 처리 안정성을 함께 판단할 수 있다.