vLLM ile çıkarımı ölçeklemek

Bir dil modelini servis etmenin asıl darboğazı çoğu zaman hesaplama değil, belleğin yönetiliş biçimidir. Naif bir sunucuda her istek için ayrılan KV cache, maksimum dizi uzunluğuna göre tek bir bitişik blok olarak rezerve edilir. Çoğu istek o maksimuma asla ulaşmadığından, pahalı GPU belleğinin büyük kısmı 'belki lazım olur' diye boşta bekler.

vLLM'in çözümü işletim sistemlerinden ödünç: sanal bellek ve sayfalama. KV cache kocaman bitişik bir blok değil, sabit boyutlu küçük sayfalara bölünür. Her dizi mantıksal sayfalara bakar; bu sayfalar fiziksel bellekte dağınık durabilir. Parçalanma neredeyse sıfıra iner.

Pratikte bu, aynı GPU'da çok daha fazla eşzamanlı istek tutabilmek demek. Bellek artık 'en kötü ihtimale göre' değil, gerçekten kullanılana göre harcanır; bu küçük muhasebe değişikliği de bütün servisin kapasitesini belirler.

Sayfalama bir bonus daha getirir: aynı başlangıca sahip istekler (mesela hepsi aynı sistem prompt'uyla başlıyorsa) o ortak sayfaları fiziksel olarak paylaşır. Prefix caching sayesinde aynı tokenlar tekrar tekrar hesaplanmaz; bellek de, hesaplama da bir kez ödenir.

Bir sohbet uygulamasını düşün: her isteğin önünde aynı uzun sistem talimatı var. Paylaşımsız dünyada bu talimat her seferinde yeniden işlenir. vLLM'de bir kez hesaplanır, sonra herkes aynı sayfalara bakar. Aşağıdaki şemada lacivert hücreler bu ortak ön-eki, her isteğin kendi rengindeki hücreler ise o isteğe özel devamını gösteriyor. Legend'a dokunarak ortak ön-eki ya da tek bir isteği vurgulayabilirsin.

Bir çıkarım isteği iki ayrı karaktere bölünür. Prefill'de modele prompt'un tamamı bir kerede verilir; tüm tokenlar paralel işlenir, hızlıdır ve GPU'yu doyurur. Decode'da ise yanıt tek tek üretilir: her token bir öncekine bakarak gelir, sıralıdır ve görece yavaştır.

Bu ayrım önemli, çünkü iki fazın iştahı farklı: biri hesaplamaya, diğeri belleğe acıkır. llm-d gibi sistemlerin bu fazları ayrı makinelere bölmesinin (disaggregation) sebebi de tam bu: her işi sevdiği donanıma vermek.

İkinci büyük fikir zamanlamada. Sabit bir yığın (batch) en yavaş isteğin bitmesini bekler; kısa yanıtlar erken biter ama çekirdekler boşta döner. vLLM bunun yerine her decode adımında yığını yeniden kurar: biten istek düşer, kuyruktaki yeni istek hemen yerine girer.

Buna sürekli yığınlama (continuous batching) deniyor. Etkisi şaşırtıcı: GPU asla 'yığının boşalmasını' beklemez, doluluk yüksek tutulur, ve gecikme kuyrukta bekleyenler için kısalır. Aşağıdaki iki şema bunu gösteriyor: önce sabit yığının boşlukları, sonra tek bir decode adımının yeniden kuruluşu.

vLLM çekirdeğinin en zarif hız hilelerinden biri speculative decoding. Token üretimi doğası gereği sıralı ve yavaştır: her token bir önceki bittikten sonra gelir. Speculative decoding küçük, hızlı bir 'taslak' modele birkaç tokenı önceden tahmin ettirir; büyük 'hedef' model bunların hepsini tek bir geçişte doğrular.

Doğru çıkan ön-ek olduğu gibi kabul edilir, ilk yanlışta kesilir. Taslak iyi tahmin ettiğinde tek geçişte birden çok token üretmiş olursun; kötü tahmin ettiğinde ise hiçbir şey kaybetmezsin, çünkü doğrulama kaliteyi garanti eder. Sonuç: aynı çıktı, daha az tur. Sahnedeki slayt bunu üç adımda özetliyordu.

Aynı oturumun ikinci yarısı Multi-LoRA serving'di. Her uzmanlık için ayrı bir dev model barındırmak yerine, tek bir taban model üzerine küçük LoRA adaptörleri takılır. vLLM bunları aynı anda servis edebilir: aynı GPU, aynı taban ağırlıklar, ama her istek kendi adaptörüyle yanıtlanır.

Maliyet tek modelinki kadar, esneklik onlarca modelinki kadar. Bir istek 'kod' adaptörünü, diğeri 'SQL' adaptörünü çağırırken taban ağırlıklar bellekte tek kopya durur. Onlarca uzmanlaşmış modeli tek GPU'da yaşatmanın en pratik yolu bu.

NVIDIA tarafından Mireille Fares'in oturumu modelin kendisini hafifletmeye odaklandı. Nicemleme (quantization) ağırlıkları daha az bitle temsil eder: FP16'dan FP8'e, hatta INT4'e. Daha az bit, daha az bellek ve daha hızlı bellek erişimi demek.

İşin püf noktası kaliteyi korumak: akıllı nicemleme şemaları doğruluğu neredeyse hiç düşürmeden modeli yarıya, çeyreğe indirir. Daha küçük model, daha çok GPU'ya sığar ve daha hızlı yanıt verir; speculative decoding ve PagedAttention'la birleşince katlanan bir kazanç.

Edoardo Vacchi tek bir GPU'dan çıkıp kümeye geçti. llm-d, vLLM'i Kubernetes üzerinde ölçekler: gelen istekler KV-cache farkında bir yönlendiriciden geçer, prefill ile decode iş yükleri ayrı düğümlere bölünebilir, ve önbellek replikalar arasında paylaşılır.

Model artık bir süreç değil, bir hizmet topolojisidir. Yönlendirici, hangi isteğin hangi önbelleğe yakın olduğunu bilir; böylece aynı ön-eki paylaşan istekler aynı replikaya düşer ve tekrar hesaplama önlenir. Tek makinenin bütün hileleri, burada kümeye yayılır.

Goin'in kapanışı ekosistemin nereye gittiğini gösterdi: vLLM yalnızca hızlı bir motor değil, evrilen bir platform. Sahnedeki yol haritası beş durağı işaret ediyordu.

Çekirdek motordan ham performansa, dağıtık servise, çok kipli modellere ve çevrimiçi pekiştirmeli öğrenmeye kadar uzanan bir yön. Yani bugün konuştuğumuz her şey, daha büyük bir hikâyenin yalnızca ilk durakları.

Tufan Küpeli (BeyondGuard) işin az konuşulan ama kritik tarafını aldı: bir LLM'i üretime açtığın an saldırı yüzeyi de açılıyor. Hız ve kapasite kadar, neyin içeri girip neyin dışarı çıktığı da bir mühendislik problemi.

Konuşma üç katmanda toplandı; üçü de modelin değil, sistemin sorumluluğu.