Agent mimarileri

Burada mimari dediğim şey model seçimi değil, modelin etrafındaki karar düzenidir. Hangi adımda tool çağrılır? Plan tek seferde mi yapılır, yoksa her observation sonrası mı güncellenir? Hata sinyali belleğe yazılır mı? Birden fazla çözüm yolu paralel denenir mi?

Bu soruların cevabı agent'in karakterini belirler. Aynı model ReAct içinde çevreyle konuşan bir operatör, Plan-and-Execute içinde iş kırılımı yapan bir koordinatör, Reflexion içinde deneyimlerinden not alan bir öğrenci, Tree of Thoughts içinde arama yapan bir problem çözücü, Graph of Thoughts içinde ara sonuçları birleştiren bir muhakeme sistemi gibi davranır.

ReAct, reasoning ile acting'i aynı döngüye koyar. Model yalnızca içinden düşünmez; gerektiğinde tool kullanır, yeni observation alır ve düşüncesini bu gözleme göre günceller. Bu yüzden ReAct'i “CoT + tool” diye küçültmek doğru değildir. Asıl fikir, düşünce ile eylemin birbirini beslemesidir.

Bu mimari özellikle bilgi eksikliği olan görevlerde değerlidir. Model cevabı hafızasından uydurmak yerine arama yapabilir; arama sonucu geldiğinde önceki varsayımını düzeltebilir. Fakat ReAct'in de bir bedeli vardır: her tool call gecikme ve hata yüzeyi ekler. Tool tasarımı kötüyse, model iyi muhakeme yapsa bile yanlış observation üzerinden ilerler.

Plan-and-Execute ailesinde model önce işi parçalara ayırır, sonra bu parçaları sırayla veya bağımlılıklarına göre yürütür. Plan-and-Solve bunu prompting seviyesinde yapar; HuggingGPT gibi sistemler ise planı model seçimi ve task execution ile bir orkestrasyon mimarisine dönüştürür.

Bu yaklaşımın gücü, eksik adımları azaltmasıdır. Büyük bir isteği doğrudan cevaplamak yerine, sistem önce görev ağacını çıkarır: hangi ara çıktı gerekiyor, hangi tool ya da model kullanılacak, hangi adım diğerinin sonucuna bağlı? Plan kötü kurulursa bütün sistem düzgün çalışan yanlış bir makineye dönüşür; bu yüzden planın denetlenmesi en az yürütme kadar önemlidir.

Reflexion, agent'e ağırlık güncellemeden öğrenme hissi verir. Başarısız bir denemeden sonra evaluator bir sinyal üretir; self-reflection modeli bu sinyali doğal dilde bir derse çevirir; ders episodic memory içine yazılır; bir sonraki deneme bu notla başlar.

Buradaki kritik terim verbal reinforcement. Klasik reinforcement learning'de politika parametreleri değişebilir; Reflexion'da model ağırlıkları değişmez, fakat context değişir. Agent kendi geçmiş hatasını okur: “şu varsayım yanlıştı”, “şu test case unutuldu”, “şu tool önce çağrılmalıydı”. Bu, test sinyali olan kod görevlerinde güçlüdür; belirsiz keşif alanlarında ise aynı yanlış derse saplanma riski taşır.

Tree of Thoughts, tek bir cevap hattına erken bağlanmayı reddeder. Model birden fazla “thought” üretir, bunları değerlendirir, bazı dalları büyütür, bazılarını keser. Yani problem çözmeyi soldan sağa tek metin üretimi olarak değil, arama problemi olarak ele alır.

Bu mimari özellikle bakış, geri alma ve alternatif deneme isteyen işlerde anlamlıdır: matematik bulmacaları, planlama, yaratıcı taslak seçimi, kısıtlı kombinasyon problemleri. Fakat ToT pahalıdır. Her dal yeni token, yeni değerlendirme ve yeni latency demektir. Ayrıca “thought” biriminin nasıl parçalanacağı görevden göreve değişir; kötü decomposition, iyi search algoritmasını bile boşa düşürür.

Graph of Thoughts, ToT'nin ağaç varsayımını gevşetir. Ağaçta her dal kendi yolunda ilerler; graf yapısında ise farklı düşünce yolları birleşebilir, birbirini iyileştirebilir veya ortak bir ara sonuca katkı verebilir.

Bu fark küçük görünür ama mühendislikte büyüktür. Özetleme, doküman birleştirme, set işlemleri, karşılaştırmalı analiz gibi görevlerde iyi parçaları ayrı ayrı üretip sonra aggregate etmek doğal bir harekettir. GoT bunu mimarinin parçası yapar. Bedeli ise controller, scorer, parser ve validation bileşenlerinin artmasıdır; yani daha güçlü bir muhakeme grafı, daha ağır bir orkestrasyon sistemi ister.

Bu mimarileri “en iyi hangisi?” diye okumak yanıltıcıdır. Doğru soru şudur: Agent'in kırıldığı yer neresi? Eğer sorun bilgi eksikliği ise ReAct; eksik adım ise Plan-and-Execute; tekrarlanan hata ise Reflexion; erken kilitlenme ise Tree of Thoughts; parçaları birleştirme ihtiyacı ise Graph of Thoughts daha iyi adaydır.

Güvenilirlik burada tek bir model özelliği değil, görevle mimarinin uyumudur. Daha karmaşık mimari her zaman daha güvenilir değildir. Bazen basit workflow, agent'tan daha iyi üründür; bazen ReAct yeterlidir; bazen de search veya reflection eklemeden üretim kalitesi yakalanamaz.

Agent mimarilerini olgunlaştıran şey tek bir parlak fikir değil; kontrol akışı, state, feedback, search ve validation parçalarının görevle uyumlu biçimde birleşmesidir. Dergi cümlesiyle söylersem: iyi agent, kendisine verilen özgürlüğü hangi düzen içinde kullanacağını bilen sistemdir.

Bu yüzden mimari seçerken önce modelin neyi bilmediğini değil, sistemin hangi belirsizlik türüyle karşı karşıya olduğunu sorun. Bilgi mi eksik, plan mı eksik, geri bildirim mi eksik, yoksa arama alanı mı tek hatta sıkışmış?