Yapay Zeka Toplantı Dökümlerinde Doğruluk Nasıl Artırılır?

Şirket Sözlüğü, Kaynakta Yönlendirme ve Otomatik Veri Maskeleme

Yapay zeka destekli toplantı asistanlarının başarısı çoğu zaman tek bir soruyla ölçülür: konuşulanı ne kadar doğru yazıya döküyor? Bu soru önemlidir ancak eksiktir. Kurumsal kullanımda asıl belirleyici olan, dökümün genel doğruluk oranı değil, o dökümdeki kritik kelimelerin doğruluğudur. Bir toplantı metninde yüz kelimeden doksan beşi doğru yazılmış olabilir. Ancak yanlış yazılan beş kelime müşterinizin adı, rakibinizin markası veya üzerinde anlaştığınız ürün modeliyse, o dökümün kurumsal değeri ciddi biçimde düşer.

Mesai olarak son dönemde mühendislik ekibimizin gündemindeki ana başlık tam olarak buydu. Bu yazıda, konuşma tanıma teknolojisinin yapısal bir zayıflığını, bu zayıflığı ölçerken elde ettiğimiz verileri ve geliştirdiğimiz iki katmanlı çözümü aktarıyoruz.

🎯 Genel doğruluk oranı neden yanıltıcı bir metriktir

Konuşma tanıma motorları istatistiksel sistemlerdir. Bir sesi metne dönüştürürken, duydukları sese en çok benzeyen ve dilde en sık kullanılan kelimeyi tercih ederler. Bu yaklaşım günlük konuşma dili için son derece verimlidir. “Toplantı”, “bütçe”, “planlama” gibi kelimeler dilde binlerce kez geçtiği için model bunları güvenle tanır.

Özel isimlerde ise durum tersine döner. Bir şirket adı, bir marka veya bir ürün kodu, modelin eğitildiği genel dil verisinde ya hiç geçmez ya da çok nadir geçer. Model o sesi duyduğunda elinde iki seçenek vardır: hiç bilmediği bir kelimeyi olduğu gibi yazmak veya sese benzeyen, bildiği bir kelimeyi tercih etmek. Neredeyse her zaman ikincisini seçer.

Sonuç, kurumsal kullanıcıların yakından tanıdığı bir tablodur. Şirket adları kısmen benzeyen başka kelimelere dönüşür, marka isimleri her toplantıda farklı bir biçimde yazılır, kısaltmalar tamamen başka harflere kayar. Toplantının genel akışı doğru aktarılır fakat metnin en değerli kısmı, yani kimin kimden bahsettiği bilgisi bozulur.

Bu durumun ikinci dereceden bir etkisi daha vardır. Toplantı dökümü, yapay zeka özetlerinin, aksiyon maddelerinin ve rapor şablonlarının girdisidir. Dökümde yanlış yazılan bir şirket adı, o toplantıdan üretilen özete, aksiyon listesine ve müşteriyle paylaşılan rapora da yanlış biçimde taşınır. Tek bir tanıma hatası zincirin tamamına yayılır.

📊 Sorunu tahmin etmedik, ölçtük

Bu konuda ilerlemeden önce sorunun büyüklüğünü sayısallaştırdık. Konuşma tanıma motorları ürettikleri her kelime için bir güven skoru döner. Bu skor, modelin o kelimeden ne kadar emin olduğunu gösterir ve bizim için makine tarafından okunabilir bir “burada tahmin yürüttüm” sinyalidir.

Gerçek müşteri toplantılarından oluşan bir örneklem üzerinde yaptığımız analizde, kelime bazında ortanca güven skorunun 0,82 seviyesinde olduğunu gördük. Buna karşılık müşterinin hatalı yazıldığını bildirdiği özel isimlerin güven skorları 0,53 ile 0,57 aralığındaydı. Aynı toplantı içinde, aynı şirket adı bir kez doğru biçimde ve 0,98 güven skoruyla, iki kez ise hatalı biçimde ve 0,53 güven skoruyla yazılmıştı.

Bu tablo iki şeyi netleştirdi. Birincisi, özel isim hataları rastgele değil sistematiktir ve düşük güven skorlarıyla birlikte ortaya çıkar. İkincisi, sorun tek tük değildir. Kurumsal bir müşterimizin tüm toplantı arşivini taradığımızda, tek bir marka adının kırk sekiz farklı toplantıda toplam yüz otuz kez hatalı yazıldığını, bu hataların sekiz ayrı yazım varyantına dağıldığını tespit ettik. Kullanıcı her toplantıda aynı hatayı görüyordu ancak hatanın toplam ölçeğini kimse görmüyordu.

🧠 İki katmanlı çözüm: önlemek ve garanti altına almak

Bu tür bir sorunu çözmenin iki yolu vardır. Hatayı oluştuktan sonra düzeltmek veya hatanın oluşmasını en baştan engellemek. Biz ikisini birden uyguladık, çünkü tek başına her birinin bir açığı var.

Birinci katman, kaynakta yönlendirmedir. Toplantıya katılan yapay zeka asistanı oluşturulurken, o şirkete ait özel isimleri konuşma tanıma motoruna öncelikli sözlük olarak iletiyoruz. Model artık o sesi duyduğunda sadece genel dil dağarcığına bakmıyor, kurumun kendi terminolojisini de biliyor. Böylece isim daha kaydın oluştuğu anda doğru yazılıyor. Bu katmanın üstünlüğü, hiçbir sonradan müdahaleye ihtiyaç bırakmamasıdır. Metin en baştan doğrudur.

İkinci katman, deterministik düzeltmedir. Kaynakta yönlendirme istatistiksel bir iyileştirmedir, garanti değildir. Bu nedenle her toplantı dökümü kaydedilmeden önce, kurumun tanımlı isim listesine göre otomatik olarak kontrol ediliyor ve bilinen hatalı varyantlar doğru karşılıklarıyla değiştiriliyor. Bu işlem yapay zekaya değil, kurala dayalı ve tekrarlanabilir bir metin işleme mantığına dayanıyor. Aynı girdi her zaman aynı çıktıyı üretiyor.

Bu düzeltme katmanının konumu kritik önemdedir. İşlem, dökümün depolanmasından önce çalışır. Dolayısıyla özet, aksiyon maddeleri, rapor şablonları ve toplantı asistanına sorulan sorular, hepsi düzeltilmiş metin üzerinden üretilir. Zincirin başındaki tek bir müdahale, zincirin tamamını doğru hale getirir.

⚙️ Neden “yaklaşık eşleştirme” kullanmıyoruz

Bu noktada akla makul bir soru geliyor. Madem hatalı yazımlar doğru isme benziyor, sistem benzerliğe bakıp otomatik tahmin yürütemez mi?

Bu yaklaşımı geliştirdik ve gerçek veriyle test ettik. Sonuç, yaklaşımı kullanmama kararımızın gerekçesi oldu.

Önerdiğimiz benzerlik kuralını, müşterinin bize bildirdiği doğrulanmış hata örnekleri üzerinde çalıştırdığımızda kuralın bu örneklerin hiçbirini yakalayamadığını gördük. Kuralı gevşetip yakalayacak hale getirdiğimizde ise ikinci ve daha ciddi bir sorun ortaya çıktı. Yirmi yedi bin kelimelik gerçek toplantı metni üzerinde çalıştırılan gevşetilmiş kural, kırk altı kez yanlış müdahalede bulundu. Bu müdahalelerin çoğu gündelik Türkçe kelimeleri şirket adlarına dönüştürüyordu. “Canlı” kelimesi bir marka adına, “kanun” kelimesi başka bir marka adına çevriliyordu.

Buradan çıkan sonuç açıktır. Doğru yazılmış bir kelimeyi bozmak, hatalı yazılmış bir kelimeyi düzeltmemekten daha zararlıdır. Kullanıcı bir ismin yanlış yazıldığını fark edip düzeltebilir. Ancak sistemin sessizce değiştirdiği doğru bir kelimeyi fark etmesi çok daha zordur ve bu, metne duyulan güveni tümüyle ortadan kaldırır.

Bu nedenle düzeltme katmanımız yalnızca doğrulanmış varyantlar üzerinde çalışır. Sistem tahmin yürütmez. Sadece kurumun kendi onayladığı eşleştirmeleri uygular.

🔐 İkinci cephe: yapay zekanın ürettiği hassas ifadeler

Özel isim doğruluğu üzerinde çalışırken bununla yapısal olarak akraba ikinci bir sorunu da ele aldık.

Konuşma tanıma motorları, anlamadıkları sesler karşısında dilde sık geçen kelimelere yönelir. Türkçede sık geçen kelimeler arasında siyasi parti adları, örgüt kısaltmaları ve argo ifadeler de bulunur. Bunun sonucunda, içeriğinde bu tür hiçbir ifade geçmeyen sıradan bir iş toplantısının dökümünde bu ifadeler belirebilir. Ses benzerliği yeterlidir, konuşmacının böyle bir şey söylemiş olması gerekmez.

Bu, kurumsal müşteri açısından ciddi bir risktir. Yanlış bir siyasi veya hukuki çağrışım, kurum içinde paylaşılan bir toplantı kaydında yer aldığında sorumluluk doğurabilir. Ayrıca siyasi görüş ve benzeri veriler KVKK kapsamında özel nitelikli kişisel veri sayılır. Bu tür bir ifadenin sistemde tutulması, veri minimizasyonu ilkesiyle bağdaşmaz.

Bu nedenle dökümlerin kaydedildiği noktaya, kurala dayalı bir maskeleme katmanı yerleştirdik. Katman, tanımlı hassas ifade kümelerini tespit eder ve bunları maskeler. Sistem Türkçenin yapısına göre tasarlanmıştır: büyük harf dönüşümündeki dil farklılıklarını ve ekli kullanımları dikkate alır, kelime sınırlarını gözetir. Böylece masum bir kelimenin içinde geçen harf dizisi nedeniyle yanlış maskeleme yapılmaz.

Maskeleme işlemi de yapay zekaya değil deterministik kurallara dayanır. Aynı metin her zaman aynı biçimde işlenir ve sonuç öngörülebilir.

🗂️ Şirket Sözlüğü: kontrol kurumun kendisinde

Teknik çözümün tek başına yeterli olmadığı bir nokta var. Hangi isimlerin doğru, hangi yazımların hatalı olduğunu en iyi bilen taraf yazılım ekibi değil, kurumun kendisidir. Müşteri ve marka portföyü sürekli değişir. Her yeni isim için destek talebi açılması gereken bir yapı, tanımı gereği ölçeklenmez.

Bu nedenle çözümün merkezine Şirket Sözlüğü özelliğini koyduk. Yönetici panelinden erişilen bu alanda kurum yöneticileri, doğru ismi ve o ismin dökümlerde gördükleri hatalı yazımlarını kendileri tanımlayabiliyor. Tanımlanan her kayıt kurum genelinde geçerli oluyor. Bir yöneticinin girdiği düzeltme, o kuruma bağlı tüm kullanıcıların tüm toplantılarında otomatik olarak uygulanıyor.

Sözlük iki yönlü çalışıyor. Kayıtlar hem gelecek toplantılarda konuşma tanıma motorunu yönlendirmek için kullanılıyor, hem de dökümlerin denetlendiği düzeltme katmanını besliyor. Ayrıca her kaydın kaç kez düzeltme yaptığı panelde görünüyor. Böylece kurum, hangi isimlerin gerçekte sorun çıkardığını somut sayılarla görebiliyor.

📌 Denetlenebilirlik ve geri alınabilirlik

Otomatik olarak metne müdahale eden her sistemin cevaplaması gereken bir soru vardır: ne değiştirildi ve bu değişiklik geri alınabilir mi?

Yapılan her düzeltme kayıt altına alınıyor. Kayıtta hangi ifadenin hangi ifadeyle, kaç kez değiştirildiği tutuluyor. Bu yapı, düzeltmelerin mekanik olarak geri alınabilmesini sağlıyor. Sistem hiçbir zaman izi sürülemeyen bir değişiklik yapmıyor.

Maskeleme tarafında ise farklı bir ilke geçerli. Maskeleme kayıtlarında yalnızca kategori bazında sayılar tutuluyor, maskelenen ifadenin kendisi hiçbir yerde saklanmıyor. Aksi halde denetim kaydının kendisi, maskelenen içeriği yeniden sızdıran bir kaynağa dönüşürdü.

🚀 Sonuç

Kurumsal yapay zeka çözümlerinde fark, çoğu zaman genel yeteneklerde değil ayrıntıların ele alınış biçiminde ortaya çıkar. Bir toplantı asistanının konuşmayı yazıya dökmesi artık standart bir beklentidir. Asıl soru, o metnin kurumun kendi gerçekliğini ne kadar doğru yansıttığıdır.

Mesai bu soruya üç ilkeyle yanıt veriyor. Hatayı mümkün olduğunca kaynağında engellemek. Kalanı tahmine değil doğrulanmış tanımlara dayanan deterministik bir katmanla düzeltmek. Ve kontrolü, kendi terminolojisini en iyi bilen tarafa, yani kurumun kendisine bırakmak.

Toplantı verilerinizin kurumsal hafızanıza güvenilir biçimde dönüşmesi için Mesai’yi incelemek isterseniz mesai.co adresinden detaylı bilgi alabilirsiniz.