CapsNet ile Object Detection başarımını nasıl artırabilirim?


#1

Öncelikle herkese merhaba, İnsansız Hava Aracı görüntülerindeki nesnelerin tespiti ve takibi konusunda çalışıyorum. Literatürde mevcut olan Object detection uygulamalarını elimde olan bir veri setine uyguluyorum (Stanford Drone Dataset). Tabi ki çok bir başarım elde edemiyorum (Çünkü mevcut object detection’lar bizim gözümüzden ve genellikle büyük nesnelerin detection işlemi için kullanılıyor. Ancak İHA görüntülerinde nesneler çok küçük ve tepeden bakıyorsunuz…) İşte tam bu noktada Merve Ayyüce KIZRAK’ın CapsNet ile ilgili kaynaklarına denk geldim. Aklımda CapsNet’i mevcut object detection algoritmalarının(Örneğin Faster RCNN gibi) feature extractor olarak kullanılan CNN’lerinin yerine kullanmak var.

Sizce bu noktada bu fikir olur mu? Başarım artar mı?

Bir de Merve hanımın github’daki CapsNet örneğinde MNIST veriseti hazır komutlarla network’e veriyor. Peki kendi custom dataset’imi nasıl network’e verebilirim (Elimdeki dataset’i PASCAL VOC formatına çevirdim. Ayrıca TFRecords formatında da bir örneği var elimde). Bu noktada bana yardımcı olursanız sevinirim.
Şimdiden cevaplayan herkese teşekkürler…


#2

Merhaba Zerok,

Öncelikle çalışmalarınız da kolaylıklar dilerim. Ancak şunu belirtmem Faster RCNN denemediyseniz deneyin iyi sonuçlar alırsınız kanımca. YOLO ile deneyip başarı sağlayanlar da oldu. Ancak Kapsül konusunda emin değilim. Çünkü birincisi Stanford Drone Dataseti renkli ve büyük boyutlu görsellerden oluşuyor benim Kapsül denemelerimde büyük boyutlarda çok iyi sonuçlar almadım. Tabi bir de yavaşlık problemi var çok işlem olduğu için.

Sonuç olarak bence diğer saydığım yöntemleri önce deneyin boş bir vaktinizde de kapsülü tabi ki denemeden geçmeyin.

Rica ederim.


#4

Cevabınız için teşekkür ederim Ayyüce hanım.

Ayyüce hanım;

  1. github’daki CapsNet örneğinizde MNIST veriseti hazır komutlarla network’e veriyorsunuz. Ben kendi custom dataset’imi nasıl network’e verebilirim (Elimdeki dataset’i PASCAL VOC formatına çevirdim. Ayrıca TFRecords formatında da bir örneği var elimde).

  2. Benim CapsNet kullanmadaki amacım doktora tezi kapsamında literatüre bir yenilik katmak ve bunun makalesini yazmak. Yazdıklarınızdan anladığım kadarıyla CapsNet büyük görüntülerde biraz sıkıntı yaratıyor. Bu kapsamda bana ne gibi bir yönlendirme yapabilirsiniz (İHA görüntülerinin object detection algoritmasına yenilik katma konusunda)?

Bu noktalarda bana yardımcı olursanız sevinirim. Teşekkürler…


#3

Darknet framewrok’ünde YOLO için .cfg dosyasından drone görüntülerindeki nesnelere uygun “anchor box” boyut ayarlaması yaparak ve COCO ve VOC verisetlerinin ağırlıklarını kullanarak “transfer learning” yaparsanız küçük nesnelerin tespitinde başarımı arttırabilirsiniz.

Anchors oluşturma ile iligli aşağıdaki github repoyu inceleyebilirsiniz.


#5

Capsule Netetwork’ler imgelerin büyüklük, eğiklik gibi bakış açısından bağımsız bir model oluşturmaya çalıştığı için özellikle üç boyutlu imgeler için CNN’e göre daha başarılı ama tecrübelerime göre en az 10, hatta 100 kat daha maliyetli (model training zamanı ve hafıza açısından). Vektör kapsülleri yerine matris kapsülleri kullanarak bir miktar hızlanma sağlamış Hinton ve ekibi, onu da yakında deneyeceğim ancak konu henüz aktif bir araştırma alanı. Yani modelinizin başarımını artırırken karşılaşacağınız kompleksiteye değecek durumda değil şu haliyle, Ayyüce Hanım’ın ifade ettiği gibi. Tabi denerken belki bu kompleksiteyi giderecek yollar da bulabilirsiniz eğer konunun uygulaması ötesinde araştırmasına da dalmak istiyorsanız.