/ 초록
LLM이 만드는 모든 토큰은 KV 캐시, 즉 지금까지의 요청에 대한 모델의 작업 메모리에 달려 있습니다.
잘 관리하면 추론이 빠르고 저렴해집니다. 잘못 관리하면 같은 프리픽스를 계속 다시 계산하며 필요 없는 GPU를 태우게 됩니다. 이 세션은 KV 캐시를 Kubernetes에서 LLM 추론 성능을 실제로 좌우하는 요소로 다룹니다.
KServe(현재 CNCF 프로젝트)로 모델을 서빙한 다음, 속도와 비용 절감이 생기는 지점으로 들어갑니다.
1. vLLM의 프리픽스 캐싱: 워커 안에서 캐시 재사용
2. llm-d를 이용한 KV 캐시 인지 라우팅: 다시 계산하는 대신, 이미 그 프리픽스를 가진 워커로 요청을 보내기
3. 프리필/디코드 분리: 두 단계를 서로 다른 GPU 풀로 나누고 그 사이에서 캐시를 옮기기
처리량, 첫 토큰까지의 시간, GPU 비용의 실제 전후 수치를 살펴봅니다.
KV 캐시가 왜 추론의 병목인지, 그리고 이를 해결하는 Kubernetes 네이티브 패턴을 알게 됩니다.