TR + EN neden gerçek bir mülakat deseni
İstanbul'da bir senior backend rolü için yapılan tipik bir mülakat sırasında bir adayın söyleyebileceğine bakın: “Microservice mimarisinde event-driven bir yaklaşım denedik, ama eventual consistency işin içine girince debugging çok zorlaştı.” Bu cümleyi sırf Türkçe veya sırf İngilizce söylemek aslında daha az doğal — uzlaşma noktası yok, sadece kayıp var. Türk yazılım ekosistemi terminoloji olarak büyük ölçüde İngilizce, dolayısıyla cümle iskeleti Türkçe kalsa da teknik isim öbekleri İngilizce kalır.
Bu olguya dilbilimde “intra-sentential code-switching” denir. Akademik literatür çok dilli ASR sistemleri için bir zorluk olarak işaretler: çok dilli modeller bile genellikle her cümleyi tek dilli olarak işler.[2] Bir aday Türkçe ile İngilizce arasında kelime ortasında geçiş yaptığında, sıradan bir multilingual ASR ya kelimeyi yanlış dile atar ya da transkripte yanlış yazar.
GAIA gerçek zamanda kod değiştirmeyi nasıl yönetiyor
Pipeline üç aşamadan oluşur. Birincisi: Whisper ailesinden bir temel ASR modeli, hiring konusuna LoRA ile ince ayarlanır. Yayınlanmış sonuçlar bu yaklaşımın domain-eşleşmeli verilerde ham WER'i %52'ye kadar düşürdüğünü gösterir.[1] İkinci aşama, dil farkındalıklı bir kod çözücü — her token için bir dil tahmini üretir, böylece transkript tek bir dile zorlanmadan iki dili karışık taşır.[3][5] Üçüncü aşama, anlamsal puanlamadır: dilden bağımsız bir gömme uzayında çalışan bir LLM, transkripti kullanarak rubrik puanlarını üretir.
Pratik sonuç: aday “biz monolith yapıdan microservice architecture'a geçtik” dediğinde, transkriptte “monolith yapıdan microservice architecture'a” ifadesi olduğu gibi durur — yapay olarak çevrilmez. Değerlendirici bunu okuduğunda kayıp yok; puanlama anlamı yakalar.
ASR doğruluğu — nerede güçlü, nerede zayıf
Türkçe, ASR araştırmasında düşük kaynaklı bir dil olarak sınıflandırılır: zengin morfoloji, agglutinatif yapı, ünlü uyumu, konuşmada Türkçe'ye özgü bir prozodi. Yayınlanan Whisper-Türkçe benchmarkları temel modelde %4.3 ile %14.2 arasında ham WER raporlar.[1][4] Bu rakamlar, çoğu mülakat kurgusu için kabul edilebilir; tek haneli WER'in çoğu alanda yorumlamaya zarar vermediği bilinir.
GAIA'nın zayıf olduğu yerler: arkaplan gürültüsü, mobil hücresel ağdaki düşük bant genişliği, yoğun aksanlı İngilizce. Bu durumlarda model genellikle yine de doğru cümleyi üretir — ama tek tek teknik kelimeleri yanlış yazar (“Kafka” yerine “Kafga”). Puanlama bu kelimeyi yanlış hatırladığı için değil, anlamsal LLM kavramı yine de yakaladığı için adayı cezalandırmaz.
Puanlama adilliği
Bir adayın sırf Türkçe'ye geri dönmesi nedeniyle düşük puan aldığı varsayımsal bir senaryo, doğru tasarlanmış bir rubrikte oluşmaz. Puanlama dil değil, içerik üzerinden yapılır: “event-driven bir yaklaşım” ile “event-driven bir yaklaşım”, ifade Türkçe yapı içinde de İngilizce yapı içinde de aynı puana neden olur.
İstisna, dil yeterliliğinin iş gereği olduğu rollerdir (örneğin İngilizce müşteri destek hattı). Bu durumlarda akıcılık başlı başına bir rubrik boyutudur ve açık olarak puanlanır. Aday önceden bilgilendirilir ve rubrik, transkriptte ölçülen şeyin tam olarak neye bağlı olduğunu gösterecek şekilde belgelenir.
KVKK + GDPR
Mülakat sesi ve transkripti kişisel veridir. Türkiye'de KVKK altında, AB'de GDPR altında. Yasal dayanak tipik olarak işe alım sürecinin meşru menfaati artı açık aday rızasıdır. Saklama süresi: AB'de işe alım AI için Madde 26(6) altında en az altı ay; Türkiye'de KVKK'nın saklama prensipleri orantılılık gerektirir, üst sınır rolün karar süreci ile sınırlı tutulur.
Tek dilli iş akışlarına kıyasla TR + EN'de yeni boyutçeviri ve normalleştirme: transkriptin orijinal karışık dilde tutulması mı yoksa tek dile çevrilmesi mi? Tavsiyemiz: orijinal kod-değişimli transkripti birincil kayıt olarak tutun, AI çevirileri sadece arama ve özet için ikincil türetilmiş veri olarak işaretleyin. Aday Madde 86 altında karar açıklaması talep ettiğinde, asıl kayıt önemlidir.
Pratik kurulum kontrol listesi
- Birincil dili işin yapıldığı dilde ayarlayın (TR rolü için TR, global ekip rolü için EN).
- Aday tercihinin varsayılanı geçersiz kılmasına izin verin.
- Açılışı kısa tutun ve kod değiştirmeyi açıkça hoş karşılayın (“Türkçe veya İngilizce — hangisi rahat geliyorsa konuşun.”).
- Rubriğin dil değil içerik puanladığını belgeleyin; rubriğin kopyasını puanlama transkriptine ekleyin.
- Logları altı ay tutun; orijinal kod değişimli transkripti birincil kayıt olarak işaretleyin.
- Aday açıklama talep ederse, kararın hangi rubrik puanına dayandığını ve transkriptin hangi bölümünün kullanıldığını gösterebilen bir açıklama yüzeyi sağlayın.
Sıkça sorulan sorular
Kaynaklar
- [1]MDPI Electronics — Implementation of a Whisper architecture-based Turkish ASR system and evaluation of LoRA fine-tuning. https://www.mdpi.com/2079-9292/13/21/4227
- [2]ACL Anthology — DECM: Evaluating Bilingual ASR Performance on a Code-switching/mixing Benchmark. https://www.aclanthology.org/2024.lrec-main.400/
- [3]arXiv 2412.16507 — Adapting Whisper for code-switched ASR via encoder refiner and language-aware decoding. https://www.arxiv.org/pdf/2412.16507v2
- [4]IEEE Xplore — Comparing the fine-tuning and performance of Whisper pre-trained models for Turkish speech recognition. https://ieeexplore.ieee.org/abstract/document/10304891/
- [5]arXiv 2312.08856 — Attention-guided adaptation of Whisper for Mandarin-English code-switching ASR (methodology generalises to TR-EN). https://arxiv.org/pdf/2312.08856
