Detekcia prekážok: ToF vs. event-based kamery – porovnávacia štúdia
Prehľad a motivácia štúdie
Rýchla a spoľahlivá detekcia prekážok je pre malé UAV kritická pri lete v blízkosti terénu, v interiéri či pri autonómnych preletoch nad komplexným prostredím. Tento článok porovnáva Time-of-Flight (ToF) snímače (kontinuálne vlnové ToF kamery a solid-state LiDARy) s event-based kamerami (DVS/EVS) z pohľadu presnosti, latencie, dosahu, výpočtových nárokov, robustnosti a vhodnosti pre typické dronové scenáre.
Princíp činnosti: ToF vs. event-based
- ToF: vysiela modulované alebo pulzné svetlo a meria čas návratu (alebo fázový posun) pre priamy range map. Výstupom je hĺbková mapa (zvyčajne 30–60 fps), prípadne bodový mrak. Výkon ovplyvňuje reflektancia cieľa, vzdialenosť a atmosféra.
- Event-based kamery: neposielajú snímky v pevnej frekvencii; každý pixel asynchrónne generuje udalosť, keď lokálny logaritmický jas prekročí prah. Výstup je prúd udalostí s mikrosekundovou latenciou a extrémnym dynamickým rozsahom; hĺbku získavame sekundárne (stereo, pohyb, aktívne štruktúrované svetlo, alebo fúzia).
Metodika porovnania a metriky
Hodnotenie sa opiera o tieto metriky:
- Latencia systému (ms): snímač → spracovanie → rozhodnutie.
- Presnosť hĺbky (RMSE, MAE v cm) a spoľahlivosť (percento validných meraní).
- Dosah (m) a minimálna detekovateľná prekážka (rozmer/plocha).
- Výpočtové nároky (GFLOPs/W, využitie CPU/GPU/NPU).
- Energetická spotreba (W) a hmotnosť (g) snímača a výpočtovej jednotky.
- Robustnosť voči HDR scénam, nízkemu osvetleniu, dažďu/hmle, textúrnej chudobe, spekularitám.
Hardvérové charakteristiky a typické rozsahy
| Parameter | ToF (kamera/LiDAR) | Event-based kamera |
|---|---|---|
| Latencia signálu | ~10–30 ms (snímková pipeline) | ~1–1000 µs (asynchrónne udalosti) |
| Rozlíšenie výstupu | QVGA–VGA hĺbka (kamery), 10–100k bodov (LiDAR) | VGA–MPix adresy udalostí (agregované do frameletov) |
| Dynamický rozsah | ~60–90 dB | ~120–140 dB |
| Dosah (typ.) | 2–6 m ToF kamera, 10–60 m solid-state LiDAR | Limitovaný geometriou; hĺbka len sekundárne (stereo/pohyb) |
| Spotreba snímača | 1–8 W (ToF/LiDAR) | 0,2–2 W |
| Náchylnosť na hmlu/dažď | Streľba do aerosólov → multipath/šum | Kontrast klesá, ale nezávisle od vlastného osvetlenia |
| Svetelné podmienky | Aktívne osvetlenie pomáha v tme, saturuje na slnku | Výborné v HDR a rýchlych zmenách, potrebuje textúru/pohyb |
Presnosť a dosah v praxi
- ToF: v interiéri poskytuje stabilnú hĺbku na 2–6 m (ToF kamera) a 10–30+ m (solid-state LiDAR). Presnosť rastie s reflektanciou a klesá s uhlom dopadu a aerosólmi. Multipath a inter-reflexie môžu generovať systematické chyby.
- Event-based: samotné udalosti neudávajú hĺbku; stereo-event alebo motion parallax ju vie vytrénovať/odhadnúť. Presnosť závisí od baseline, kalibrácie a bohatosti hrán. Pri statickej scéne a bez pohybu klesá informačný tok.
Latencia a bezpečný reakčný priestor
Pre plánovanie manévru používame konzervatívny odhad zastavovacej vzdialenosti:
s = v · τ + v²/(2 · a_max), kde v je rýchlosť, τ celková latencia reťazca a a_max maximálne spomalenie (obmedzené akceleráciou dronu a limitmi vrtúľ).
- Príklad: v = 10 m/s, τToF ≈ 60 ms (senzor + inference), a_max = 6 m/s² → s ≈ 0,6 m + 8,3 m = 8,9 m.
- Príklad: v = 10 m/s, τevent ≈ 5 ms → s ≈ 0,05 m + 8,3 m = 8,35 m. Výhoda event-based je najmä v prvom členovi (reakčný čas).
Energia a výpočtové nároky
- ToF: aktívna emisia (VCSEL/laser) zvyšuje priamu spotrebu, ale poskytuje metricky presnú hĺbku, čím redukuje potrebu ťažkého učenia. Typicky beží odľahčené filtrovanie a odhad plôch/hraníc + jednoduché plánovanie vyhýbania.
- Event-based: snímač je úsporný, no hĺbka vyžaduje stereo matching na udalostiach, spatio-temporálne mapovanie, prípadne neurónové siete. Pri GPU/NPU akcelerácii je však tok dát veľmi riedky (sparse), čo je výhodné.
Algoritmické pipeline
- ToF pipeline: filtrovanie hĺbky (bilaterálne/temporal), odstránenie multipathu, segmentácia prekážok, odhad normál, tvorba lokálnej 3D obsadenosti (voxel/grid), plánovanie úhybných manévrov (DWA/TEB/voxel RRT).
- Event-based pipeline: agregácia udalostí do time surface/event frame, odhad optical flow, stereo-event matching (časovo-priestorové okná), eVIO (event-based vizuálno-inerčný odhad), následne 3D mapovanie (TSDF/ESDF) a plánovanie.
Kalibrácia a synchronizácia
- Extrinsiky (R,t) medzi snímačmi a IMU musia byť stabilné; pri event-based stereo je kritický časový offset < 1 ms.
- Intenzitné artefakty ToF (ambientné svetlo, teplota) riešte temnými a flat-field kalibráciami.
- Pre fúziu ToF + event je nutná spoločná časová základňa (GPS time/PPS alebo PTP), inak vznikajú ghost prekážky.
Robustnosť v náročných podmienkach
| Situácia | ToF | Event-based |
|---|---|---|
| Interiér s nízkym svetlom | Výborné (aktívne osvetlenie) | Dobré, ak je pohyb/textúra; inak málo udalostí |
| Exteriér – ostré slnko/HDR | Riziko saturácie senzora/receivera | Veľmi dobré (vysoký DR) |
| Hmla/dažď/sneh | Scattering → chybné range, multipath | Kontrast klesá, ale menšia interakcia s aerosólmi |
| Les (tenké vetvy) | Dobrý priebeh, ale ťažké drobné objekty na limite rozlíšenia | Dobré, ak hrany generujú udalosti; nutná fúzia na hĺbku |
| Lesklé/spevnené povrchy | Spekulárne odrazy → outliery | Môže vzniknúť lokálna absencia udalostí |
Experimentálny dizajn porovnávacej štúdie
- Scény: interiér (tmavý sklad), exteriér HDR (slnko–tieň), hmla/rozptyl (generátor hmly), les/tenké prekážky.
- Trajektórie: priamy let (5–12 m/s), slalom (±2 m bočný offset), náhle zastavenie.
- Ground truth: optický motion capture v interiéri; vonku RTK + statický referenčný LiDAR.
- Výstupy: true positive rate detekcie, time-to-react, počet falošných poplachov, presnosť hĺbky, energetická efektivita (Wh na 100 m bezpečne preletenej trate).
Výsledky a interpretácia (syntetická analýza)
- V interiéri a pri nízkom osvetlení má ToF výhodu v priamom range, štandardná latencia však zvyšuje bezpečný odstup.
- V HDR a pri rýchlych manévroch má event-based výraznú výhodu v latencii a absencii rozmazania; na spoľahlivú hĺbku ale potrebuje stereo/pohyb alebo fúziu s ToF/IMU.
- V hmle/daždi klesá spoľahlivosť ToF; event-based zostáva použiteľný na detekciu zmeny, no nie absolútnej vzdialenosti bez fúzie.
Fúzia senzorov: „najlepšie z oboch svetov“
Odporúčaný prístup pre UAV, ktoré lietajú naprieč scenármi, je fúzia ToF + event + IMU:
- Event poskytuje nízkolatenčné indície o okrajoch a pohybe (predikcia rizík).
- ToF dodá metrickú hĺbku a stabilný range stop pre plánovač.
- IMU/VIO stabilizuje pozíciu a dopĺňa chýbajúce informácie pri nízkej textúre.
Integrované plánovanie a bezpečnostná logika
- Hierarchia reakcií: 1) event trigger (mikro-úhyb), 2) ToF potvrdenie vzdialenosti, 3) globálna replánovacia fáza.
- Konzervatívny buffer: bezpečný polomer podľa vzorca pre s s penalizáciou za neistotu hĺbky (väčšia penalizácia pri event-only odhade).
- Failover: pri saturácii ToF prepnúť do „edge-follow“ režimu na eventoch so zníženou rýchlosťou.
Nákladová a integračná stránka
- ToF kamery: nižšia cena a jednoduchšia integrácia na krátke dosahy (interiér, indoor SLAM, robotika), vyšší príkon.
- Solid-state LiDAR: vyšší dosah, robustnosť, ale cena/spotreba/rozmery sú pre mikro-UAV limit.
- Event-based kamery: rastúci ekosystém, nízky príkon, no sofistikovanejšia softvérová integrácia a potreba špecializovaných knižníc.
Odporúčania podľa typu misie
- Interiér/temné priestory, pomalé lety (≤4 m/s): ToF kamera ako primárny senzor; event-based voliteľne na rýchle okrajové detekcie.
- Exteriér, vysoká dynamika (≥8 m/s), ostré prechody svetla: event-based stereo + IMU/VIO ako primárne, ToF/LiDAR pre metrické range do 10–20 m.
- Hmla/dažď: minimalizovať závislosť od aktívnej optiky; event-based + radar (ak hmotnosť dovolí) alebo výrazne konzervatívny profil letu.
- Mikro-UAV s prísnym rozpočtom energie: event-based single/stereo s ľahkým procesingom; pre kritické misie pridať ľahký ToF pre last-resort stop.
Limity a praktické úskalia
- ToF: multipath, saturácia slnkom, aerosóly; potreba tepelnej stabilizácie a optickej čistoty okienka.
- Event-based: nízky signál pri statických textúrne chudobných scénach; kalibrácia prahov, citlivá časová synchronizácia.
- Datasety a benchmarky: menej štandardizované pre event-based hĺbku v UAV rýchlostiach; odporúčaná interná kalibrácia na vlastných scenároch.
Implementačný checklist pre tím
- Definujte latency budget a vypočítajte bezpečný odstup pre max. rýchlosť.
- Overte kalibráciu extrinsík a časovania (PPS/PTP) pre všetky snímače.
- Zaveďte confidence mapy (per-pixel/per-voxel) a penalizácie neistoty v plánovači.
- Simulujte saturáciu/slepé zóny (slnečný závoj, hmla) a trénujte failover režimy.
ToF poskytuje spoľahlivú metrickú hĺbku s jednoduchou integráciou, no trpí na aerosóly a vyššiu latenciu snímkovej pipeline. Event-based kamery prinášajú ultranízku latenciu, extrémny dynamický rozsah a nízku spotrebu, ale hĺbku potrebujú dopočítať alebo fúzovať. Pre UAV, ktoré operujú v rozmanitých podmienkach a rýchlostiach, je optimom hybridná architektúra: event-based na včasné varovanie a ToF/LiDAR na presné range stop. Voľba senzora by mala vychádzať z rýchlostného profilu, osvetlenia, poveternostných rizík a energetického rozpočtu konkrétnej platformy.