Yapay Zekanın Değerini Nasıl Ölçersiniz? Entegrasyon Sonrası Ölçüm ve İzleme

Dağıtım bir bitiş değil, bir başlangıçtır. Sürdürülebilirlik fazı

Serinin onuncu yazısında kültürü ve benimsemeyi ele aldım ve o yazıyı tek bir soruyla kapatmıştım. Bütün bu emek işe yaradı mı, bunu nereden bileceksiniz? Faz D, yani sürdürülebilirlik tam da bu soruyla açılıyor. Çünkü bir yapay zeka girişiminin en sessiz başarısızlığı, çökmesi değildir. Sessizce çalışıp hiçbir zaman ölçülmemesi, dolayısıyla hiçbir zaman var sayılmamasıdır.

Bu yazının konusu, dağıtımdan sonra ne olduğudur. Aracı kurdunuz, ekip kullanıyor, ilk heyecan geçti. Şimdi iki gerçek aynı anda doğru. Sistem değer üretiyor olabilir, ama o değeri kanıtlayamıyorsanız yönetim kurulu için o değer yoktur. Ve sistem bugün iyi çalışıyor olsa bile, hiç dokunulmazsa yarın sessizce bozulacaktır. Ölçüm ve izleme, bu iki gerçeğin panzehiridir.

Rakamlar meselenin büyüklüğünü gösteriyor. MIT'nin geniş çaplı incelemesine göre kurumların %95'i üretken yapay zeka pilotlarından ölçülebilir bir kâr etkisi göremiyor. Aynı dönemde McKinsey, kurumların beşte birinden azının bu girişimler için düzgün göstergeler izlediğini buldu. Bu iki bulgu birbirinden bağımsız değil. Ölçmediğiniz şeyin değerini kanıtlayamazsınız; kanıtlayamadığınız değer de bütçe kararlarında yok hükmündedir.

Bu yazının sonunda dört şeyi netleştirmiş olacaksınız. Ölçümün neden en çok ihmal edilen ama değere en sıkı bağlı iş olduğunu. Yapay zekada tam olarak neyi, hangi göstergelerle ölçeceğinizi. Sistemin nasıl sessizce bozulduğunu ve onu izlemenin ne demek olduğunu. Ve bütün bunları hiç bitmeyen bir iyileştirme döngüsüne nasıl bağlayacağınızı.

Ölçülmeyen değer, yönetim kurulunda yok sayılır

O %95 rakamına yakından bakmakta fayda var, çünkü çoğu kişi onu yanlış okuyor. MIT'nin bulgusu "kurumların %95'inde yapay zeka teknik olarak çöküyor" demek değildir. Demek istediği daha incedir. Kurumların %95'i, harcadıkları paranın karşılığını kâr-zarar tablosunda ölçülebilir bir etki olarak gösteremiyor. Bu girişimlerin bir kısmı gerçekten değersizdir. Ama önemli bir kısmı değer üretir; o değer yalnızca hiçbir zaman ölçülmediği için görünmezdir. Yönetim kurulu görünmeyen değeri fonlayamaz.

İşte kurumsal yapay zekanın en pahalı kör noktası budur. McKinsey'nin Kasım 2025 araştırması bunu yalın bir cümleye indiriyor. İyi tanımlı göstergeleri izlemek, yapay zekanın kâra etkisini en çok artıran tek uygulama; buna rağmen kurumların beşte birinden azı bunu yapıyor. Yani değere en sıkı bağlı davranış, en nadir uygulanan davranıştır. Aynı araştırmada katılımcıların yalnız %39'u yapay zekaya herhangi bir düzeyde kâr etkisi atfedebiliyor, onların da çoğu bu etkinin %5'in altında olduğunu söylüyor. Yaklaşık iki bin kurumdan yalnızca yüz kadarı, kârının anlamlı bir kısmını yapay zekaya bağlayabiliyor.

Buradaki ders, serinin maliyet ve geri dönüş yazısında kurduğum çerçeveyle doğrudan bağlanıyor. Bir yatırımın geri dönüşünü, o dönüşü ölçecek sistemi kurmadan savunamazsınız. Ölçüm, işin bittikten sonra yapılan isteğe bağlı bir raporlama değildir. Bir sonraki bütçe turunda o girişimin yaşayıp yaşamayacağını belirleyen kanıt dosyasıdır. Ölçmeyen kurum, iyi çalışan sistemlerini bile bir sonraki maliyet kesintisinde kapatır, çünkü onları savunacak tek şeyden, veriden yoksundur.

Ölçmek neden bu kadar ihmal ediliyor

Madem ölçüm bu kadar belirleyici, neden bu kadar az yapılıyor? Cevap üç kelimeyle özetlenebilir. Zor, görünmez ve tehlikeli. Ölçüm zordur, çünkü yapay zekanın etkisini gürültüden ayırmak gerçek bir metodoloji ister. Bir ekip daha hızlı çalışıyorsa, bunun ne kadarı yapay zeka, ne kadarı yeni işe alınan kişi, ne kadarı sakin bir çeyrek? Ölçüm görünmezdir, çünkü aracı satın almak gibi bir imza anı yoktur; kimse bir pano kurduğu için tebrik almaz. Ve ölçüm tehlikelidir, çünkü dürüst bir ölçüm, sahibinin övdüğü pilotun aslında pek bir şey değiştirmediğini ortaya çıkarabilir.

Bu son nokta, en çok karıştırılan meseleyi açıklıyor. Piyasadaki anketlerin çoğu yapay zekadan yüksek memnuniyet ve olumlu geri dönüş bildirir. Örneğin Deloitte'un kurumsal araştırmasında kurumların büyük çoğunluğu ölçülebilir bir getiri bildiriyor. Aynı anda MIT'nin incelemesi %95'in kâr etkisi göremediğini söylüyor. Bu iki rakam çelişmiyor, farklı şeyi ölçüyorlar. Deloitte, yapay zekayı zaten uygulayan liderlere kendi girişimlerini sorar; cevap bir öz-beyandır ve iyimserliğe eğilimlidir. MIT ise dışarıdan, kamuya açık girişimlerin gerçek finansal izini sürer. Yani cevabı belirleyen, çoğu zaman gerçeğin kendisi değil, ölçüm yöntemidir.

Bu yüzden ilk kural şudur. Kendi ölçümünüzü kurmadan, satıcının ya da ekibin size sunduğu başarı hikâyesine güvenmeyin. Bir çözüm sağlayıcının, yani modeli satan firmanın ya da entegrasyonu kuran danışmanın çıkarı, girişimin başarılı görünmesidir. Ekibin çıkarı da öyle. Tarafsız kanıtı yalnız sizin kuracağınız bağımsız ölçüm sistemi üretir. Buradaki okuma anahtarı, kurucu ve satıcı iddialarına yaklaşımınızda süregelen bir sağlıklı şüphedir; iddiayı reddetmek değil, kendi verinizle sınamaktır.

Neyi ölçeceksiniz. Öncü ve ardıl göstergeler

Ölçmeye karar verdiniz. Peki neyi? En sık yapılan hata, tek bir sayıya, genellikle nihai kâra bakıp onun kımıldamasını beklemektir. Sorun şu ki kâr en geç kımıldayan sayıdır. Aylar, bazen yıllar sonra hareket eder ve o kımıldadığında artık düzeltmek için çok geçtir. Bu yüzden ölçümü iki katmana ayırmak gerekir. Öncü göstergeler ve ardıl göstergeler.

Ardıl göstergeler sonucu ölçer. Maliyet düşüşü, gelir artışı, kâra etki. Bunlar yönetim kurulunun görmek istediği sayılardır ve önemlidir, ama geç gelirler. Öncü göstergeler ise süreci ölçer ve erken kımıldar. Benimseme oranı, yani aracı kaç kişinin gerçekten kullandığı. İşlem süresi, yani bir işin ne kadar hızlandığı. Çıktı kalitesi, yani üretilen işin ne kadar güvenilir olduğu. Bir de hata ve düzeltme oranı, yani insanın ne sıklıkla araya girip düzelttiği. Öncü göstergeler bir girişimin ardıl sonuçları gelmeden aylar önce sağlıklı olup olmadığını söyler. Benimseme düşükse, kârın kımıldamayacağını çeyreğin başında öğrenirsiniz, sonunda değil.

Burada serinin pilottan üretime yazısındaki bir çerçeveyi ölçüme taşımam gerekiyor. Bir pilotun sonucunu hiçbir zaman tek başına modele yazmayın demiştim; sonuç her zaman üç değişkenin bileşkesidir. Model, kurulan süreç ve işin başındaki insanlar. Ölçüm panosu da bu üç değişkeni ayırabilmelidir. Bir gösterge kötüyse, sorun modelde mi, süreçte mi, yoksa insanların onu kullanma biçiminde mi? Bunu ayıramayan bir pano, kötü bir sonucu yanlış yere, çoğu zaman teknolojiye kesip iyi bir aracı gereksiz yere çöpe attırır. İyi bir ölçüm sistemi bir karne değil, bir teşhis aracıdır. Boston Consulting Group'un sık andığım ilkesi burada da geçerli. Değerin yalnız %10'u modelde, %90'ı veri, süreç ve insanda. Öyleyse ölçümünüzün de ağırlığı o %90'da olmalı.

Sistem sessizce bozulur. Model kayması ve izleme

Şimdiye kadar konuştuğum her şey, bir kez kurulup ölçülen bir sistemi varsayıyordu. Oysa yapay zeka sistemlerinin en sinsi özelliği şudur. İyi çalışan bir sistem, hiç dokunulmasa bile zamanla kötüleşir. Buna model kayması deniyor, İngilizce karşılığıyla drift. Modelin kendisi değişmez; değişen, içinde çalıştığı dünyadır. Müşterilerin dili değişir, ürünler değişir, sorular değişir. Model dünün dünyasına göre ayarlıdır, bugünün dünyasına giderek daha az uyar ve performansı yavaşça düşer.

Bu kaymanın iki yüzü var. Birincisi veri kayması; sisteme gelen girdilerin, sorulan soruların yapısı zamanla değişir. İkincisi model kayması; modelin verdiği cevapların isabeti düşer. Erişim destekli üretim (RAG) kullanan sistemlerde, yani modelin kurumun kendi belgelerinden cevap ürettiği kurgularda, bir de anlam kayması olur; belgeler ve sorular güncellendikçe eski eşleşmeler tutmaz hale gelir. Bu düşüş yavaş ve sessizdir, bu yüzden tehlikelidir. Kimse bir sabah sistemin bozulduğunu fark etmez; sistem aylar boyunca giderek kötüleşir ve bunu ancak bir müşteri şikâyeti ya da bir hata patlaması ortaya çıkarır. İzlenmeyen modellerin aylar içinde ölçülebilir biçimde bozulduğu, sektör derlemelerinde tekrar tekrar rapor edilen bir bulgudur.

Çözüm, sistemi kurup unutmak değil, sürekli izlemektir. Bunun üç pratik ayağı var ve hepsini yönetici diliyle özetleyebilirim. Birincisi değerlendirme, İngilizcesiyle eval. Sistemin doğru cevap vermesi gereken bir dizi örnek soruyu, bir tür referans sınavını önceden hazırlarsınız; model ya da süreç her değiştiğinde sistem bu sınava yeniden girer ve notu düşerse değişiklik durdurulur. İkincisi canlı izleme. Gerçek kullanımın küçük bir yüzdesini, sözgelimi her yirmi cevaptan birini otomatik olarak puanlar, kalitenin zamanla düşüp düşmediğini izlersiniz. Üçüncüsü guardrail, yani koruma bandı. Çıktı kullanıcıya ulaşmadan önce onu tarayan bir süzgeçtir; halüsinasyonu, yani modelin uydurduğu bilgiyi, zararlı içeriği ve kişisel veri sızıntısını yakalar. Bu üçü bir arada, sistemin ilk günkü kadar iyi kalmayı sürdürdüğünün tek güvencesidir.

İnsan denetimi. Değerlendiren, değer üretir

İzleme sistemleri otomatiktir, ama hiçbiri insan yargısının yerini almaz. Buradaki kilit kavram, insan-döngüde denetim, İngilizcesiyle human-in-the-loop. Anlamı basit. Yapay zeka çıktısının, özellikle sonucu ağır olan kararlarda, kullanıcıya ya da müşteriye ulaşmadan önce bir insan tarafından gözden geçirilmesi. Otomatik guardrail'ler kaba hataları yakalar; ince yargıyı, bağlamı ve sorumluluğu ancak bir insan taşır.

Bunun neden pazarlık konusu olmadığını veri gösteriyor. McKinsey'nin araştırmasına göre kurumların %51'i yapay zekadan en az bir olumsuz sonuç yaşamış, bunların yaklaşık üçte biri hatalı ya da yanlış çıktı kaynaklı. Aynı araştırmanın en öğretici bulgusu ise şu. Yüksek performans gösteren kurumları diğerlerinden ayıran şey daha iyi model değil, daha iyi denetimdir. Onlar riski dört şeyle birden azaltıyor. İnsan-döngüde denetim kuralları, titiz çıktı doğrulama, merkezi bir yönetişim ve üst yönetimin denetime görünür katılımı. Sıradan kurum yalnız çıktının doğruluğuna bakar; olgun kurum çok katmanlı bir denetim kurar.

Burada dikkat edilmesi gereken bir tuzak var ve bu, serinin ajanlar yazısında andığım bir olguyla bağlanıyor. Sisteme ne kadar çok yapay zeka eklerseniz, denetlenmesi gereken çıktı da o kadar artar. Buna Denetim Birikmesi diyorum. Her yeni otomasyon, sırtınıza yeni bir gözetim yükü bindirir; bu yük yönetilmezse ya insanlar denetimden yorulup her şeyi onaylamaya başlar, ki bu denetimin sahte bir hali olur, ya da denetim bir darboğaza dönüşüp otomasyonun kazandırdığı hızı geri alır. Ölçüm ve izleme, tam da bu yükü yönetmenin yoludur. Neyin otomatik geçebileceğini, neyin mutlaka insan gözünden geçmesi gerektiğini veriyle ayırırsınız. Amaç insanı döngüden çıkarmak değil, insanı yalnız gerçekten önemli olan yere, kararın ağır olduğu yere yerleştirmektir. Değerlendiren insan, değerin bekçisidir.

Sürekli iyileştirme döngüsü. Entegrasyon bitmez

Şimdi buraya kadar anlattıklarımı tek bir resimde birleştireyim. Kurumların yapay zekada yaptığı en temel zihinsel hata, entegrasyonu bir proje gibi düşünmektir. Projenin başı, ortası ve sonu vardır; biter ve ekip dağılır. Oysa yapay zeka entegrasyonu bir proje değil, süregelen bir döngüdür. Başı vardır, ama sonu yoktur.

Bu döngünün beş adımı var. Önce sistemi kurar ve dağıtırsınız. Ardından onu öncü ve ardıl göstergelerle ölçer, model kaymasını, kaliteyi ve güvenliği izler, kararların ağır olduğu yerlerde insan yargısıyla denetlersiniz. Elde ettiğiniz veriyle sistemi iyileştirir, yani modeli yeniden ayarlar, süreci düzeltir ve veriyi güncellersiniz. Sonra döngü bu iyileştirilmiş haliyle baştan başlar. Her tur, sistemi biraz daha iyi ve biraz daha kuruma özgü kılar. Serinin başında andığım MIT bulgusunu hatırlayın; başarısız kurumları başarılılardan ayıran şeyin, öğrenme ve geri bildirim döngüsünün kurulup kurulmaması olduğunu söylüyordu. İşte o döngü tam olarak budur. Değeri bir kez yakalamak değil, her turda biraz daha büyütmek.

Bu döngüyü kurmanın pratik karşılığı, sabit bir ritimdir. Yapay zeka girişimlerini, kurulduktan sonra kendi haline bırakılan bir yatırım gibi değil, düzenli aralıklarla gözden geçirilen canlı bir varlık gibi yönetin. Aylık ya da çeyreklik bir gözden geçirme toplantısı, panodaki göstergeleri masaya koyar, kaymayı tartışır, iyileştirme kararlarını verir. Bu ritim olmadan sistem, kimsenin bakmadığı bir köşede yavaşça bozulur ve bir gün artık işe yaramaz hale geldiğinde fark edilir. Ritim, sürdürülebilirliğin ta kendisidir.

Ölçümü karar belgesine bağlamak

Serinin başından beri her fazın sonunda bir karar belgesi kurduk. Hazırlık, süreç, temin, maliyet, kültür. Şimdi bu belgeye son ve belki en belirleyici sütunu ekleme zamanı. Ölçüm ve sürdürme. Çünkü önceki bütün sütunlar bir girişimi doğru kurmakla ilgiliydi; bu sütun, o girişimin zamanla değer üretmeye devam edip etmediğini güvenceye alır.

Bu sütunu birkaç somut soruyla doldurabilirsiniz. Bu girişimin başarısını hangi öncü ve ardıl göstergelerle ölçeceğiz ve bu göstergelerin sahibi kim? Panoyu kim, hangi sıklıkla gözden geçirecek? Sistemin kaymasını, kalitesini ve güvenliğini izleyen bir mekanizmamız var mı? Hangi kararlarda insan denetimi zorunlu, hangilerinde değil? Ve en sert soru; bir girişim belirlediğimiz göstergeleri hareket ettirmiyorsa, onu ne zaman ve hangi eşikte durduracağız? Bu son soru en çok kaçınılan sorudur, çünkü kimse kendi projesini kapatmak istemez. Ama ölçümün asıl işlevi de budur. İşe yarayanı büyütmek kadar, yaramayanı dürüstçe durdurup kaynağı işe yarayana kaydırmak.

Burada serinin en başındaki MIT bulgusuna son kez döneyim. %95'in kâr etkisi görememesinin en büyük tek nedeni, çoğu zaman kötü teknoloji değil, ölçülmemiş ve öğrenmeyen girişimlerdir. Ölçüm bir girişimi otomatik olarak başarılı kılmaz; ama ölçülmeyen bir girişimin başarısını kanıtlamanın hiçbir yolu yoktur. Ve kanıtlanamayan değer, bir sonraki bütçe turunda yok sayılan değerdir. Karar belgesine bu sütunu eklemek, iyi kurduğunuz sistemin ömrünü güvenceye almaktır.

Ölçtük, peki güvende miyiz? Sıradaki adım

Bu yazıyı üç cümlede toplayayım. Yapay zekanın değeri ölçülmezse yönetim kurulunda yok sayılır ve değere en sıkı bağlı davranış olan gösterge izlemek, en az yapılanların başında gelir. Ölçümü öncü ve ardıl göstergelerle iki katmana ayırın, üç değişkeni ayırabilen bir teşhis panosu kurun ve sistemi model kaymasına karşı sürekli izleyin. Çünkü entegrasyon bir proje değil, kur-ölç-izle-denetle-iyileştir biçiminde hiç bitmeyen bir döngüdür.

Karar belgenize bu fazın ölçüm sütununu ekleyin. Başarıyı hangi göstergelerle ölçüyoruz ve sahibi kim? Panoyu kim, hangi sıklıkla gözden geçiriyor? Kaymayı, kaliteyi ve güvenliği izleyen bir sistemimiz var mı? Hangi kararlarda insan denetimi zorunlu? Ve göstergeleri hareket ettirmeyen bir girişimi hangi eşikte durduracağız?

Ama ölçmek, güvende olmakla aynı şey değildir. Bir sistemin değer ürettiğini ölçebilirsiniz ve aynı sistem, sizi bir veri ihlaline, bir hukuki sorumluluğa ya da bir itibar kaybına götürüyor olabilir. Serinin bir sonraki yazısı tam da buraya, yani yönetişim, risk ve uyuma bakıyor. Kişisel verilerin korunması, yeni yapay zeka düzenlemeleri ve sorumlu yapay zekanın bir kurum için ne anlama geldiğini, somut kural ve vakalarla ele alacağım. Değer üretmek bir hedeftir; onu güvenli üretmek, o değeri koruyan zemindir.