Hiperspektral görüntüleme teknolojisi, temel olarak diğer optik cihazlar tarafından en fazla keşfedilmeyi bekleyen ince farklılıklar sağlayan ayrıntılı görüntüleme sağlama yeteneği sayesinde yıllar boyunca popülerlik kazanmaktadır.

En son hiperspektral sensörlerin büyüklüğü önemli ölçüde azalmış ve savunma, güvenlik, mineral tanımlama ve çevre koruma gibi uygulamalarda tercih edilen ve diğerlerinin yanı sıra aranan tercih haline getirilmiş rekabetçi fiyatlara ulaşmıştır. İnsansız hava araçları ile birlikte hiperspektral teknoloji genişlemesi uzaktan algılamada yeni bir çağ açmış, geçici platformların uydu ve uçaklara kıyasla bazı avantajları ile çok daha düşük bir fiyata geliştirilmesine olanak sağlamıştır. Bu platformlar, gerçek zamanlı olarak sonuç veren misyonlar gerçekleştirme potansiyeline sahip olup, hiperspektral görüntülemeyi, bir uyarı anında tepki gerektiren spesifik izleme ve gözetim uygulamaları için en ideal yöntem kılar.

Pablo Horstrand, José Fco içeren bilim adamlarından oluşan bir araştırma ekibi. López, Sebastián López, Tapio Leppälampi, Markku Pusenius ve Martijn Rooker Uygulamalı Mikroelektronik Enstitüsü (IUMA), Las Palmas de GC Üniversitesi (ULPGC), İspanya’da ve Creanex Oy’dan Finlandiya ve Ar-Ge Projeleri Bölümü, TTTech Computertechnik AG Avusturya bu zorluklar üzerinde çalışıyor. Çalışmalarının katkısı, gerçek dünyanın sadık bir sanal temsilini sağlayan bir simülasyon ortamına dayanan, gerçek zamanlı sistemler için hiperspektral görüntü işleme algoritmalarının davranışını test etmek ve doğrulamak için yeni bir ara aşama getirmektir. Bu çalışmadaki yeni teklif, çevrimdışı görüntü işleme algoritması uygulaması ile gerçek bir senaryoda kullanımı arasındaki boşluğu önemli ölçüde kısaltmayı umuyor.

Halen, algoritma geliştirme süreci, hedef uygulamanın ihtiyaçlarının analiz edildiği ve olası çözümlerin tanımlandığı bir tasarım aşaması ile başlar. Bunu, sonuçların hızlı bir şekilde elde edilmesi ve en uygun çözümü aramaya başlaması için çözümün yüksek bir dile kodlandığı uygulama aşaması izler. Genellikle bu son aşama, halka açık depolardan indirilen sentetik veya gerçek hiperspektral görüntüler ile çevrimdışı olarak gerçekleştirilir. Asıl sorun, görüntü işleme algoritmaları hedef cihaza aktarıldığında ve test kampanyalarını yürütmek için gerçek sistem sahaya getirildiğinde başlar. Çevrimdışı olarak gerçekleştirilen tasarım ve uygulama aşamasında göz ardı edilen hususlar sistemin beklendiği gibi çalışmamasına neden olmaktadır.

Makalelerinde araştırmacılar, araştırma çalışmalarını, mekansal ve spektral çözünürlük arasındaki fark nedeniyle, bir İHA üzerine monte edilmek üzere en yaygın olarak seçilen sensörlerden birini oluşturan, bir pushbroom hiperspektral kamerasına nasıl dayandırdıklarını ayrıntılı olarak açıkladılar. Bu tür bir kameranın bir İHA’ya entegrasyonu oldukça karmaşık bir iştir çünkü yakalanan çerçeveler üst üste binme paylaşmayan tek tek çizgilerdir ve bu nedenle, 2B bir görüntü oluşturmak için toplama ve işleme aşamalarına daha fazla çaba harcanması gerekir.

Bu çalışmada geliştirilen sanal ortam, sensörü simüle etme ve hedeflenen hiperspektral sensör tarafından yakalandıkları gibi neredeyse hiperspektral görüntüler oluşturma ve sonuçları hemen elde etmek için işleme algoritmalarını uygulama imkanı sunar. Bu şekilde, tüm sistem ile gerçek bir test gerçekleştirmeden önce, kodda ve / veya giriş parametrelerinde değişiklik yaparak simülasyonlar birkaç kez çalıştırılabilir. Bu, test aşamasını kısaltır ve sonunda tüm sistemin uygulanmasında kayda değer maliyet tasarrufuna neden olan gerekli genel işgücünü azaltır.

Bu çalışmada geliştirilen sanal ortam, sensörü simüle etme ve stimüle etme, hedeflenen hiperspektral sensör tarafından yakalandıkları gibi neredeyse hiperspektral görüntüler oluşturma ve sonuçları hemen elde etmek için işleme algoritmalarını uygulama imkanı sunar. Bu şekilde, tüm sistem ile gerçek bir test gerçekleştirmeden önce, kodda ve / veya giriş parametrelerinde değişiklik yaparak simülasyonlar birkaç kez çalıştırılabilir. Bu, test aşamasını kısaltır ve sonunda tüm sistemin uygulanmasında kayda değer maliyet tasarrufuna neden olan gerekli genel işgücünü azaltır.

Bu çalışmada sunulan araştırma, ENABLE-S3 (Yüksek Otomatik Otomatik Güvenli ve Güvenli Sistemler için Doğrulamayı Etkinleştirme Avrupa Girişimi) adlı bir Avrupa H2020 ECSEL projesinin kullanım durumu çerçevesinde gösterilmiştir. “Tarım Kullanımı Örneği” adı verilen bu özel senaryonun amacı, bir biçerdöverin tarım, tarlada sulama, sulama veya böcek ilacı püskürtme işlemlerini otomatik olarak gerçekleştirmesidir. Başlangıçta, hiperspektral bir kamera ile donatılmış bir dron, mahsulün durumu ile ilgili bilgi veren farklı bitki örtüsü endekslerine sahip bir harita seti oluşturmak için araziyi inceler. Bu bilgiler, belirli koordinatlarla birlikte, daha sonra ilgilenilen bölgeye özerk sürüşünü başlatan ve işçiliğini başlatan biçerdövere gönderilir. Bunlara ek olarak, Tarımsal biçme işlemleri ve / veya büyük engellerle (hayvanlar veya kayalar) çarpışmalar nedeniyle ölümcül kaza riskini en aza indirmek için, dronun yerden belirli bir yükseklikte ve birkaç metre ileride uçtuğu şema dikkate alınmıştır. biçerdöver (güvenlik mesafesi), alanı statik veya dinamik nesnelerin olası görünümü için tarıyor. Bu nedenle, bu kullanım durumunda gerçek zamanlı olarak alınması gereken kararların kritikliği nedeniyle, tüm sistemin davranışını gerçekçi bir şekilde işlemden önce gerçekçi bir şekilde değerlendirmek için önerilen ortama dahil edilmesi tavsiye edilir. alan. ve alanın statik veya dinamik nesnelerin olası görünümü için tarandığı biçerdöverden (güvenlik mesafesi) bir kaç metre ileride. Bu nedenle, bu kullanım durumunda gerçek zamanlı olarak alınması gereken kararların kritikliği nedeniyle, tüm sistemin davranışını gerçekçi bir şekilde işlemden önce gerçekçi bir şekilde değerlendirmek için önerilen ortama dahil edilmesi tavsiye edilir. alan. ve alanın statik veya dinamik nesnelerin olası görünümü için tarandığı biçerdöverden (güvenlik mesafesi) bir kaç metre ileride. Bu nedenle, bu kullanım durumunda gerçek zamanlı olarak alınması gereken kararların kritikliği nedeniyle, tüm sistemin davranışını gerçekçi bir şekilde işlemden önce gerçekçi bir şekilde değerlendirmek için önerilen ortama dahil edilmesi tavsiye edilir. alan.

Söz konusu kullanım durumunun gereklilikleri ile başa çıkmak için araştırma ekibi, ENABLE-S3 tarım kullanımı durumunda ele alınan farklı senaryoların hemen hemen yeniden yaratılmasını ve ENABLE-S3 tarım kullanımı durumunda ele alınan farklı senaryoların hemen hemen yeniden yaratılmasını mümkün kılan önceden var olan tarımsal grafiksel simülasyon ortamını (AgSim) kullandı. Bir biçerdöver, bir traktör ve bir tarla üzerine bir dron. Daha doğrusu, simüle edilmiş olan sistem bir Matrice 600 uçağı ve bir Specim FX10 hiperspektral kamerasına sunulan sistemdir. Önerilen ortam, drone kontrol rutinlerini eş zamanlı olarak görüntülerin yakalanması ve işlenmesiyle eş zamanlı olarak test edebiliyor. Döngü testi kurulumundaki bu yazılım, görüntü oluşturma gibi farklı hiperpektral görüntü işleme algoritmalarının doğrulanmasına ve doğrulanmasına izin verir. bitki örtüsü endeksleri harita oluşturma ve hedef tespiti. Bir başka vurgu, önerilen aracın modüler bir şekilde tasarlandığı, bu nedenle farklı gerçek zamanlı işlem algoritmalarının test edilebileceği ya da sadece karşılık gelen modülü değiştirerek farklı hiperspektral sensör özelliklerinin kullanılabileceğidir.

Sonuçlar

Herhangi bir ticari ürünün geliştirme döngüsü boyunca validasyon ve doğrulama (V&V) işlemi, ürün işlevselliğini ve güvenilirliğini tanımladıkları için başarısının yüksek bir yüzdesini temsil eder. Özerk sistemler, insanları ve / veya maliyetli ekipmanı etkilemenin düşük riskini sağlamak için farklı senaryolarda zorlu bir test bataryası gerektirir. Özel İHA’larda, iklim (başlıca rüzgar ve yağmur) tahmin edilemez ve bu uçuş platformlarının performansını etkiler. Hedef uygulamaya bağlı olarak yeni bir zorluk seviyesi ortaya çıkmıştır. Örneğin, hassas tarımda İHA’ları ve spektral sensörleri kullanmak, bazı durumlarda en kötü durumda bir yıllık büyüme döngüsüne sahip olan geçici mahsullerle uğraşmak anlamına gelir. Tüm bu değişkenlerle başa çıkmak için, Bu çalışmada, hasat uygulamaları için kullanılan bir pushbroom hiperspektral kamera ile donatılmış bir İHA’nın sanal davranışını analiz etmek için bir hiperspektral simülasyon ortamı sunulmuştur. Sonuç olarak, bu araç, görüntü üretimi, sağlık durumu denetimi ve hedef tespiti gibi gelecekteki tarımın otomasyonu ile ilgili farklı aşamaları test etme sürecini hafifletmektedir.

Bu alandaki gelecekteki araştırmalar için araştırma, gerçek senaryoların ek çarpıtmalarla daha da yakından temsil edilmesini sağlamak için algoritmaları rüzgarın ve diğer iklim olaylarından kaynaklanan zorlu koşullar altında test etmenin AgSim ortamının fiziksel modeline getirilmesi gerektiğini önermektedir.