LLM 요청에 캐시가 안 걸릴 때, 프롬프트 순서 점검법
이 글에서는 LLM 요청에 캐시가 걸릴 조건과, 실제로는 왜 캐시가 자꾸 깨지는지를 프롬프트 구조 관점에서 확인합니다. 결론부터 말씀드리면, 캐시는 요청 전체가 아니라 앞쪽 프리픽스(prefix)를 통째로 비교하기 때문에, 정적인 내용보다 앞에 단 한 글자라도 바뀌는 값(날짜, 세션 ID, 사용자 질문)을 배치하면 그 뒤 전체가 캐시 미스로 처리됩니다. 순서만 바꿔도 캐시 적중률이 크게 달라지는 이유가 여기에 있습니다. … Read more