토큰 낭비

LLM 토큰 예산은 무조건 아끼거나 무조건 늘리는 값이 아니라 요청 유형에 따라 배분해야 하는 운영 판단이다. 단순 변환·분류, 문서 근거 답변, 긴 이력 의존 요청은 서로 다른 토큰 예산을 가져야 한다. 문서 근거, 긴 이력, 여러 조건 비교가 필요한 요청은 더 많은 토큰 예산을 쓸 이유가 있다. 판단 기준은 비용을 줄였을 때 답의 근거와 결론이 … 더 읽기