토큰 사용량 집계, 대시보드에 뭘 담아야 쓸모 있을까요
결론부터 말씀드리면, 토큰 사용량 집계 대시보드는 총 토큰 수 하나만 보여줘서는 쓸모가 없습니다. 모델별, 입력·출력 방향별, 캐시 히트 여부별로 쪼개서 쌓아야 비용 분석이 가능해지고 이상 징후도 잡아낼 수 있습니다. 이 글에서는 어떤 필드를 어떤 단위로 모아야 하는지, 그리고 실시간 집계가 오히려 방해가 되는 상황은 언제인지까지 구체적으로 짚어보겠습니다. 토큰 사용량 집계, 범위를 어디까지 잡아야 할까요 가장 … Read more