Derin öğrenme algoritması kullanan bir mobil abartılmış gerçeklik oyunu

Abstract

Bu tezde; Derin Öğrenme, Bilgisayarlı Görü, Nesne Sınıflandırma, Nesne Belirleme ve Görüntü İşleme teknikleri kullanarak bir Artırılmış Gerçeklik (AG) uygulaması gerçekleştirilmiştir. Bu yeni nesil teknolojilerle desteklenen ve gerçeklenen mobil AG oyunu ile sadece tek kamera kullanarak; sanal ortam üzerinde, bir fiziksel nesne ile bir sanal nesnenin fiziksel dünya kurallarının yer aldığı etkileşiminin sağlanması amaçlanmıştır. Bu çalışma örnek alınarak, gerçek dünyaya ait nesneler üzerinde ilgili örnekler çoğaltılarak AG dünyasında farklı uygulamalar ile çözümler üretilebilinir. Üretim sektörü, eğitim, oyun, çocuk gelişimi ve benzeri alanlara yönelik kamera üzerinden öğretilmiş nesneleri kullanan uygulamalar gerçekleştirilebilinir. Genel mobil cihaz sensörlerine karşın; 3 boyutlu nesneleri algılayan sensörler, donanımlar ve özel kameralar kullanmak şüphesiz daha gerçeğe uygun bir çalışma ortamı sunar. Ancak son kullanıcılar açısından bakılırsa; cihazlara yönelik üretilen ve bu tezde önerdiğimiz yöntemleri kullanan mobil AG çözümleri fazladan bir maliyet oluşturmayacağından daha yaygın kullanım alanı bulacaktır.

In this thesis, an Augmented Reality (AR) application was carried out by using Deep Learning, Computer Vision, Object Detection, Object Classification and Image Processing techniques. Using only one camera with the mobile AR game supported by the next generation technologies mentioned above; it is aimed to provide the interaction of a physical object and a virtual object on the virtual environment with the physical world rules. Based on this work, solutions can be produced with different applications in the world of AR by duplicating related examples on real world objects. Applications using objects taught through the camera for areas such as production, education, play, child development and the like can be realized. Despite general mobile device sensors; The use of sensors, hardware and special cameras that detect 3D objects offers a more realistic working environment. But from the perspective in terms of end users; AR solutions that use the methods we propose in this thesis will be used more widely while they will not constitute an extra cost.