LLM 컨텍스트가 길어질수록 왜 비용과 지연이 같이 커질까
LLM 서비스에서 긴 컨텍스트는 답변 품질을 높이는 재료가 될 수 있지만, 매번 좋은 선택은 아니다. 컨텍스트가 길어지면 요청에 붙는 입력 토큰이 늘고, 모델이 읽어야 할 문맥도 함께 커진다. 답 품질이 거의 좋아지지 않는데 문서와 대화 이력을 계속 붙이면 비용과 지연이 먼저 늘어난다. 판단 기준은 “더 넣었을 때 답이 실제로 달라지는가”와 “응답 지연을 감수할 요청인가”다. 전체 … 더 읽기
