AI 서비스 비용은 왜 생각보다 빨리 안 내려갈까
AI 서비스 비용은 시간이 지나면 자동으로 빠르게 떨어지는 구조가 아니다. 많은 사람이 쓰기 시작해도 추론 요청은 실시간 처리와 대기 시간 관리 비용을 계속 만든다. 학습비용은 한 번 크게 들어가지만, 서비스 단계의 추론비용은 요청이 들어올 때마다 다시 발생한다. 응답 지연을 줄이려면 한가한 시간에도 여유 자원을 남겨둬야 해서 단순한 규모의 경제가 잘 먹히지 않는다. GPU만 보는 시각으로는 … 더 읽기
