| Student: | Lennert Antson |
|---|
| Richting: | Master of Science in de industriële wetenschappen: informatica |
|---|
| Abstract: | In de afgelopen twee decennia heeft de vooruitgang op het gebied van kosteneffectieve fabricagetechnieken, miniatuursystemen, intrinsieke detectoren en computertechnologie ertoe geleid dat hyperspectrale beeldverwerking (HB) getransformeerd is van een wetenschappelijke curiositeit tot een discipline met operationele systemen. Ondanks deze vooruitgang vertoont HB nog steeds beperkingen in verschillende slechte visuele omstandigheden (SVO), waaronder regen, nevel en rook. Deze omstandigheden hebben een nadelig effect op de prestaties van de sensoren doordat het bereik in termen van detectie, identificatie en herkenning wordt beperkt. Bovendien worden standaard detectoren en classificatietechnieken voornamelijk pixelgewijs uitgevoerd, wat een krachtige en effectieve techniek is, maar vaak niet geoptimaliseerd is voor real-time detectie van mensen of objecten. In deze master thesis wordt een tweedelige, op neurale netwerken gebaseerde, detector voorgesteld voor het real-time detecteren van brandweerlieden die aan SVO's worden blootgesteld. Hiervoor wordt er gebruik gemaakt van hyperspectrale nabij-infrarood (NIR) beelden. De voorgestelde methode maakt eerst gebruik van de spatiale kenmerken via objectdetectie en analyseert vervolgens de geëxtraheerde regio's met behulp van een spectraal-spatiaal pixelgewijs algoritme om de aanwezigheid van brandweerlieden te valideren. De robuustheid van de voorgestelde architectuur wordt met succes aangetoond aan de hand van verschillende realistische scenario's. |
|---|
| Abstract (Eng): | In the past two decades, advances in cost-effective fabrication techniques, miniature systems, intrinsic detectors and computing technology transformed hyperspectral imaging (HSI) from a bench-top scientific curiosity to a discipline with operational and fielded systems. Despite these advancements, there are still limitations such as degraded visual environment (DVE) conditions that reduce the visibility within a scene impacting HSI negatively. These conditions could be rain, haze or smoke and adversely affect the performance of the sensors by reducing their range of effectiveness in terms of detection, identification, and recognition. Additionally, benchmark detectors and classification techniques are mainly conducted on a pixel-wise basis which has proven to be a solid and effective technique but often isn't optimized for real-time detection of people or objects. This master thesis proposes a two-stage neural-net-based detector for real-time detection and tracking of firefighters subjected to DVEs using hyperspectral near-infrared (NIR) images. The proposed method first exploits the spatial features through object detection and then analyzes the extracted regions using a spectral-spatial pixel-wise algorithm to validate the presence of firefighters. The robustness of the proposed architecture is successfully demonstrated using various realistic scenarios. |
|---|