/ 概要
LLM が生成するすべてのトークンは KV キャッシュ、つまりそのリクエストについてモデルが保持している作業メモリに依存しています。
うまく管理すれば推論は速く安くなります。まずく管理すれば同じプレフィックスを何度も計算し直し、必要のない GPU を燃やすことになります。このセッションでは、KV キャッシュこそが Kubernetes 上の LLM 推論性能を左右するものとして扱います。
KServe（現在は CNCF プロジェクト）でモデルを提供し、速さと節約が生まれる場所へ進みます。
1. vLLM のプレフィックスキャッシュ：ワーカー内でキャッシュを再利用する
2. llm-d による KV キャッシュ対応ルーティング：計算し直す代わりに、すでにプレフィックスを持つワーカーへリクエストを送る
3. プリフィルとデコードの分離：2 つのフェーズを別々の GPU プールに分け、キャッシュをその間で移す
スループット、最初のトークンまでの時間、GPU コストについて、実際の前後比較の数値を見ていきます。
KV キャッシュがなぜ推論のボトルネックなのか、そしてそれを解決する Kubernetes ネイティブなパターンがわかるようになります。