Kurum İçi LLM: Yapay Zekâyı Ne Zaman Kendi Sunucunuzda Çalıştırmalısınız?

Yapay zekâyı nerede çalıştıracağınız, hangi modeli seçeceğinizden daha büyük bir karardır. Birçok şirkette ilk ciddi soru "en iyi LLM hangisi" değil, "bu veri şirketin dışına çıkabilir mi" sorusudur. Cevap hayırsa ya da "bu veri çıkamaz" ise konu model karşılaştırmasından altyapıya, yetkilere ve operasyona kayar. Kurum içi LLM tam olarak budur: bir model tercihi değil, verinizi kimin göreceğine ve onu okuyan sistemi kimin işleteceğine dair bir karar.

Bu insight, hukuk ya da güvenlik ekibinden "bunu dışarıdaki bir servise gönderemeyiz" cevabını almış ve yapay zekâyı toptan yasaklamak yerine uygulanabilir bir yol arayan CTO'lar ve dönüşüm liderleri için.

Kurum içi LLM kurulumu gerçekte ne yapmak zorunda?

Bir modeli kendi donanımınızda çalıştırmak, anlatması en kolay kısımdır. Güvenlik ekibinin onaylayacağı ve iş birimlerinin gerçekten kullanacağı bir kurulum beş katmanı karşılamalıdır.

1. Model sunumu. Ağınızın içinde, bir çıkarım (inference) sunucusunda çalışan açık ağırlıklı bir model. Kaç kişiye ve kaç isteğe hizmet edeceğine göre boyutlandırılır.
2. İşlem kapasitesi. Kendi veri merkezinizde ya da kontrolü sizde olan ayrılmış bir ortamda GPU'lar. Yoğun saatler ve bir sonraki model güncellemesi için de plan gerekir.
3. Kendi verinizden bilgi getirme. Kurumsal yapay zekâ çoğu zaman modelin hafızasından değil, şirketin belgelerinden ve sistemlerinden cevap verir. Bunun için kaynak sistemlerle aynı yetkileri uygulayan bir bilgi getirme katmanı (genellikle RAG) kurulur.
4. Erişim kontrolü ve denetim izi. En az yetki ilkesi, kimin ne sorduğunun ve cevapta hangi verinin kullanıldığının kaydı, politikalarınıza uyan saklama kuralları.
5. Operasyon. İzleme, cevap kalitesinin ölçülmesi, yamalar, model güncellemeleri ve bir sorun çıktığında sorumluluğu alan belirli bir kişi.

İşe yarayan bir test: planınız yalnızca ilk iki katmanı anlatıyorsa elinizde bir yapay zekâ sistemi değil, bir donanım alımı vardır.

"Verimiz dışarı çıkamaz" aslında bir veri akışı sorusudur

Her verinin riski aynı değildir

Müşterilerin kişisel verileri, sağlık kayıtları, finansal bilgiler ve ticari sırlar; herkese açık ürün dokümantasyonu ya da iç şablonlarla aynı sınıfta değildir. Önce veriyi sınıflandıran ekipler, yapay zekâ kullanım senaryolarının genellikle yalnızca bir kısmının kurum içinde kalması gerektiğini görür. Her şeyi en hassas sınıfa koymak, her projeyi gerektiğinden yavaş ve pahalı hale getirir.

Bulut API çağrısı yalnızca soruyu taşımaz

Bir uygulama dış bir modeli çağırdığında istem (prompt), cevap için getirilen belgeler ve çoğu zaman cevabın kendisi ağınızdan çıkar. Sağlayıcıya ve sözleşmeye bağlı olarak bunlar bir süre kayıt altında tutulabilir. Kurumsal sözleşmeler, bölgesel barındırma ve veri saklamama seçenekleri bu tabloyu değiştirir. Dolayısıyla asıl soru bir servisin "bulut" olup olmaması değil, sözleşmenizin ve yapılandırmanızın neyi garanti ettiğidir.

Mevzuat yasak değil, koşul koyar

Türkiye'de KVKK, Avrupa'da GDPR kişisel verilerin işlenmesine ve yurt dışına aktarılmasına koşullar getirir. Yapay zekâyı yasaklamazlar; hukuki bir dayanak, uygun güvenceler ve verinin nereye gittiğine dair açıklık isterler. Bu kuralların her kullanım senaryosuna nasıl uygulanacağına hukuk ekibiniz karar verir. Mimarinin görevi, verilen kararı uygulanabilir kılmaktır.

Sektör kuralları ve müşteri sözleşmeleri kendi sınırlarını ekler

Bankacılık, sağlık ve kamu projelerinde genel veri koruma mevzuatından daha sıkı sektör düzenlemeleri, denetim gereklilikleri ya da müşteri sözleşmeleri sık görülür. Bir projenin kurum içinde kalmasının gerçek sebebi çoğu zaman bunlardır. Teknik tasarıma başlamadan önce açıkça listelenmeleri gerekir.

Kurulum seçenekleri yan yana

Sözleşmeyle korunan bulut API

Nerede kazanır: En güçlü modellere erişim, donanım yatırımı yok, hızlı başlangıç; ölçeklemeyi ve güncellemeleri sağlayıcı üstlenir.

Nerede kaybeder: Veri ağınızdan çıkar. Sağlayıcının saklama ayarlarına, bölgelerine ve koşullarına bağlı kalırsınız. Bazı düzenlemeye tabi veriler bu yolla hiç kullanılamaz.

Bulut API şu durumda doğru seçimdir: Veri kişisel ya da gizli değilse veya hukuk ekibiniz o veri sınıfı için sağlayıcıyı, bölgeyi ve saklama koşullarını onaylamışsa.

Kendi bulut ortamınızda ya da bölgenizde özel kurulum

Nerede kazanır: Modeller kontrolü sizde olan bir ortamda, seçtiğiniz bölgede ve kendi ağ kurallarınızla çalışır; yine de donanım satın almanız gerekmez.

Nerede kaybeder: Operasyon yükünün daha büyük kısmı size geçer, model seçenekleri genel API'ye göre daha dar olabilir, maliyetin yakından yönetilmesi gerekir.

Özel bulut kurulumu şu durumda doğru seçimdir: Verinin belirli bir ülkede ya da ortamda kalması gerekiyorsa ama kendi binanızda kalması şart değilse.

Tamamen kurum içi

Nerede kazanır: Veri altyapınızdan hiç çıkmaz. Her kaydı, her güncellemeyi ve her erişim kuralını siz yönetirsiniz. En sıkı iç ve sözleşmesel gereklilikleri karşılar.

Nerede kaybeder: Donanımı siz alır ve işletirsiniz, kapasite ve güncellemeler sizin sorumluluğunuzdadır. Açık ağırlıklı modeller bazı karmaşık görevlerde en iyi barındırılan modellerin gerisinde kalabilir.

Kurum içi kurulum şu durumda doğru seçimdir: Veri sınıfı hiçbir dış işlemeye uygun değilse ya da bir düzenleyici, denetçi veya müşteri sözleşmesi bunu şart koşuyorsa.

Veri sınıfına göre hibrit yönlendirme

Nerede kazanır: Hassas istekleri ağınızın içindeki model cevaplar; geri kalan her şey en yetenekli ya da en uygun maliyetli modele gider.

Nerede kaybeder: Güvenilir bir sınıflandırma adımı ve bir yönlendirme katmanı ister, işletilecek ikinci bir sistem grubu ekler.

Hibrit yönlendirme şu durumda doğru seçimdir: Bazıları çok hassas, bazıları sıradan kullanım senaryolarınız varsa ve her isteği kendi GPU'larınızda çalıştırmak istemiyorsanız.

Kimsenin sevmediği cevap: nadiren ya hep ya hiçtir

Kolay cevaplar iki tane: "garanti olsun, her şeyi içeride çalıştıralım" ve "bulut sözleşmesi zaten kapsıyor, her şeyi gönderelim". İkisi de genellikle tutmaz. İlki, şirketin gerçek ihtiyaçlarının küçük bir kısmına hizmet eden pahalı bir sunucu kümesiyle sonuçlanır. İkincisi ise sistem kurulduktan sonra projeyi durduran bir güvenlik incelemesine yol açar.

Ayakta kalan yaklaşım, kararı şirket bazında değil veri sınıfı bazında vermektir. Hassas akışları kontrolü sizde olan altyapıda tutun; sözleşmenin ve verinin izin verdiği yerde barındırılan modelleri kullanın; ikisi arasındaki yönlendirmeyi açık ve denetlenebilir yapın. Kendi ürünlerimizin çoğunu da bu mantıkla tasarladık: Portal CRM, Portal CMS, Fieldloop, B2gether ve Lodge müşterinin kendi sunucusunda çalışır, çünkü müşterilerimizin önemli bir kısmı için verinin nerede durduğu bir tercih değil, bir gerekliliktir.

Onaylı bir kurum içi yapay zekâ sistemine 10 haftalık yol

Süreler kapsama ve donanımın teslim süresine göre değişir; sıra ise neredeyse hiç değişmez.

• 1-2. haftalar: Veriyi sınıflandırın, kuralları netleştirin. Kullanım senaryolarını listeleyin, her birinin dokunduğu veriyi sınıflandırın. Hukuk ve güvenlik ekiplerinden hangi sınıfların, hangi koşullarla ağ dışına çıkabileceğini yazılı olarak alın.
• 3-4. haftalar: Modelleri kendi işinizde deneyin. İki ya da üç açık ağırlıklı modeli kullanım senaryonuzdaki gerçek örneklerle test edin. Genel karşılaştırma tablolarına değil; cevap kalitesine, yanıt süresine ve donanım ihtiyacına bakın.
• 5-6. haftalar: Model sunumunu ve kapasiteyi kurun. Çıkarım sunucusunu kendi ortamınıza kurun, GPU'ları beklenen yüke göre boyutlandırın, kapasite dolduğunda sistemin nasıl davranacağını belirleyin.
• 7-8. haftalar: Bilgi getirme katmanını yetkilerle bağlayın. İlgili belge ve sistemler üzerine bilgi getirme katmanını kurun. Kaynak sistemlerdeki erişim kurallarını aynen uygulayın; herkes yalnızca görmeye yetkili olduğu veriden cevap alsın.
• 9-10. haftalar: Sınırlı kullanım ve denetim. Sistemi tek bir ekibe açın, kayıtları güvenlik ekibiyle birlikte inceleyin, başta belirlenen iş metriğini ölçün ve ölçeklemeye karar verin.

Açık ağırlıklı bir modelin sunumuna dair teknik ayrıntı için Gemma 4 üretim dağıtım rehberimiz barındırılan, kendi sunucunuzda vLLM ve uç cihaz kurulumlarını karşılaştırıyor. Bilgi getirme katmanı için RAG ve üretim ortamındaki retrieval mimarileri insight'ına bakabilirsiniz.

Yapılmaması gerekenler

• Veriyi sınıflandırmadan donanım almayın. Neyin gerçekten içeride çalışması gerektiğini sınıflandırma belirler; sunucu kümesinin boyutunu da o belirler.
• Bilgi getirme katmanının yetkileri atlamasına izin vermeyin. Herkese her departmanın verisiyle cevap veren bir kurum içi model riski ortadan kaldırmaz, yalnızca binanın içine taşır.
• İlk modeli kalıcı saymayın. Açık ağırlıklı modeller hızla gelişiyor. Model değiştirmenin yeniden inşa değil, bir yapılandırma değişikliği ve yeniden değerlendirme olduğu bir sunum katmanı tasarlayın.

Sık sorulan sorular

Kurum içi LLM nedir?

Kurum içi (on-premise) LLM, harici bir sağlayıcının API'si üzerinden değil, kurumun kendi altyapısındaki donanımda çalışan büyük dil modelidir. İstemler, belgeler ve cevaplar kurumun ağı içinde kalır. Genellikle açık ağırlıklı bir model üzerine kurulur ve şirket verisi üzerinde çalışan bir bilgi getirme katmanıyla birlikte kullanılır.

LLM kendi sunucumuzda çalıştırılabilir mi?

Evet. Açık ağırlıklı modeller, vLLM gibi yaygın çıkarım sunucularıyla kendi GPU'larınızda çalıştırılabilir. Asıl iş modeli çalıştırmak değil; kapasite planlaması, modeli doğru yetkilerle şirket verisine bağlamak ve sistemi güvenilir şekilde işletmektir.

Kurum içi LLM KVKK ve GDPR ile uyumlu mudur?

Modeli kurum içinde çalıştırmak, işlenen veri için yurt dışına aktarım sorusunu ortadan kaldırır ve KVKK ile GDPR değerlendirmesini önemli ölçüde sadeleştirir. Ancak sistemi kendi başına uyumlu yapmaz: hukuki dayanak, erişim kontrolü, kayıt tutma ve saklama kuralları yine gerekir. Her kullanım senaryosu için değerlendirmeyi hukuk ekibinizin onaylaması gerekir.

Kurum içi LLM bulut API'den daha mı ucuz?

Kullanıma bağlıdır. Bulut API'nin başlangıç maliyeti yoktur ve düşük ya da öngörülemeyen hacimde genellikle daha ucuzdur. Kurum içi kurulumun donanım ve operasyon maliyeti ancak düzenli ve yüksek kullanımda ya da veri bulut API'ye hiç gönderilemiyorsa karşılığını verir.

Kurum içinde LLM çalıştırmak için hangi donanım gerekir?

Belirleyici kısıt GPU belleğidir; bu da modelin büyüklüğüne ve nasıl sıkıştırıldığına (quantization) bağlıdır. Küçük ve sıkıştırılmış modeller tek bir GPU'da çalışabilirken büyük modeller birden fazla veri merkezi GPU'su ister. Boyutlandırma model kartına göre değil, kendi iş yükünüzle yapılan testlere göre yapılmalıdır.

Yapay zekâyı içeride tutarken projeyi durdurmamak

Güvenlik ya da hukuk ekibiniz bazı verilerin dışarıdaki bir servise gidemeyeceğini söylediyse bu, yapay zekâ konuşmasının sonu değil, bir tasarım gereksinimidir. 2017'den beri teslim ettiğimiz 400+ projede günlük kullanıma ulaşan sistemler, veri kurallarının güvenlik incelemesinde fark edilmek yerine ilk haftalarda netleştirilip mimariye işlendiği sistemler oldu.

Yapay zekâyı kendi altyapınızda çalıştırmak için ekibimizle görüşün