Makine öğrenmesi algoritmalarıyla Türk işaret dilinde harf ve dinamik sözcük tanıma
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Bilecik Şeyh Edebali Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, ELEKTRONİK VE BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2021
Tezin Dili: Türkçe
Öğrenci: ZEKERİYA KATILMIŞ
Danışman: CİHAN KARAKUZU
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Toplumsal hayatın bir parçası haline gelen bilgisayarlar ve akıllı arabirimler, ses ve görüntü dışında, özellikle işaretlerin ve hareketlerin tanınmasında etkin bir şekilde kullanılarak hayatı kolaylaştırmaktadır. Sunulan bu çalışmada işaret dilini kullanan işitme ve konuşma engelliler ile diğer bireylerin kolay iletişime geçmesi ve işaret dilini bilmeyen bir kişinin bu dili anlayabilmesi çerçevesinde çalışılmıştır. Günümüzde teknolojik eğilimin taşınabilir sistemlere doğru olması sebebiyle işaret tanıma çalışmalarında LMC ve Kinect cihazı kullanılmıştır. LMC cihazı bilgisayar, mobil cihazlar başta olmak üzere diğer akıllı arabirimlere gömülü yada doğrudan entegre edilebilir olması, el ve parmak hareketlerini anlık tarama hızı ve hassasiyetinin yüksek olması ve gelişime açık olması sebebiyle özellikle tercih edilmiştir. Kinect ise LMC'nin yetersiz kaldığı durumlarda destek olması amacıyla kullanılmıştır. Bu çalışmada, LMC ve Kinect cihazı kullanılarak Türk işaret dili (TİD)'ne ait çift elli statik parmak alfabesi ve dinamik sözcük tanıma sistemleri üzerine çalışılmıştır. Çalışma önişlem, izleme, görüntü karelerinin toplanması, özellik çıkarımı, özellik seçimi ve çıkarımı, boyut indirgeme, eğitim ve test olmak üzere 8 aşamadan oluşmaktadır. Çalışma dört uygulamadan oluşmaktadır. Birinci uygulama LMC kullanılarak statik parmak alfabesi tanıma üzerine gerçekleştirilmiştir. İkinci uygulamada LMC ile dinamik sözcük tanıma sistemi tasarlanmıştır. Bu uygulama için kendi arasında benzerlik ve farklılıkları dikkate alınarak hazırlanan 50 dinamik sözcük için 4 denek kullanılarak veri kümesi oluşturulmuştur. Üçüncü uygulamada Kinect cihazı kullanılarak dinamik sözcük tanıma sistemi üzerinde çalışılmıştır. Dördüncü uygulama ise LMC+Kinect cihazları kullanılarak gerçekleştirilen farklı uzunluk ve sürelere sahip dinamik sözcük tanıma sistemidir. Bu uygulamada kullanılan histogram ve zamansal özellik çıkarımı veri kümelerinin boyutlarını eşitleyerek sınıflandırıcıya girişi kolaylaştırır ve aynı zamanda verilerin boyutunun küçültülmesini sağlar. Bu uygulamalardan elde edilen veri kümelerinden özellik seçim algoritması, özelik çıkarım yöntemleri ve PCA, LDA ve PCA+LDA boyut indirgeme yöntemleri kullanılarak yeni veri kümeleri elde edilmiştir. Bu veri kümeleri kullanılarak makine öğrenme yöntemlerinden geleneksel, sinir ağı ve ELM tabanlı sınıflandırıcılar ile işaret tanıma başarımı analiz edilmiştir. ELM mimarileri ilk kez bir işaret dili tanıma sisteminde sınıflandırıcı olarak bu çalışmada kullanılmıştır. Tanıma başarımı açısında gürbüz ve kararlı genelleme yeteneği sunan ELM'in 5 farklı mimarisi ve bunların kendine özgün öğrenme yöntemleri test edilerek sonuçlar karşılaştırılmıştır. Bu çalışma ile önerilen TİD tanıma sisteminin başarım testi 10 katlamalı çapraz doğrulama yöntemi kullanılarak yapılmıştır. Elde edilen başarım metriklerine dayalı olarak, ELM tabanlı mimari ve makine öğrenmesi yöntemlerinden ML-KELM'in tüm veri kümelerinde başarım oranını koruduğunu ve en yüksek başarım oranını verdiği ve başarım açısından kararlı bir yapıya sahip olduğu gözlemlenmiştir.