LLM

LLM 토큰 예산은 무조건 아끼거나 무조건 늘리는 값이 아니라 요청 유형에 따라 배분해야 하는 운영 판단이다. 단순 변환·분류, 문서 근거 답변, 긴 이력 의존 요청은 서로 다른 토큰 예산을 가져야 한다. 문서 근거, 긴 이력, 여러 조건 비교가 필요한 요청은 더 많은 토큰 예산을 쓸 이유가 있다. 판단 기준은 비용을 줄였을 때 답의 근거와 결론이 … 더 읽기

LLM 서비스에서 긴 컨텍스트는 답변 품질을 높이는 재료가 될 수 있지만, 매번 좋은 선택은 아니다. 컨텍스트가 길어지면 요청에 붙는 입력 토큰이 늘고, 모델이 읽어야 할 문맥도 함께 커진다. 답 품질이 거의 좋아지지 않는데 문서와 대화 이력을 계속 붙이면 비용과 지연이 먼저 늘어난다. 판단 기준은 “더 넣었을 때 답이 실제로 달라지는가”와 “응답 지연을 감수할 요청인가”다. 전체 … 더 읽기