3D Bounding Box Prediction for Embedded Systems
Authors
Barrett, Rasmus ; Knudsen, Christoffer Najbjerg ; Pekbas, Ahmet
Term
4. term
Education
Publication year
2021
Submitted on
2021-06-10
Pages
17
Abstract
Autonomous vehicles rely on fast, accurate 3D perception, yet many state-of-the-art models are too computationally heavy for embedded systems. This work investigates whether a lightweight 3D object detector can be achieved by fusing dense RGB image data with sparse LiDAR point clouds. We design a two-stream backbone that encodes the point cloud into a bird’s-eye view (BEV) with PointPillars while separately encoding a front-facing image; at each network stage a novel attention-based fusion using depth-wise separable convolutions merges the streams. For the detection head, we test both a center-based approach (CenterPoint) and a single-shot detector. Evaluation on the KITTI 3D benchmark shows the setup does not converge to useful 3D bounding boxes with either the image or BEV inputs, highlighting the challenges of attaining adequate accuracy under tight resource constraints.
Autonome køretøjer kræver hurtig og præcis 3D-opfattelse, men mange moderne modeller er for tunge til indlejrede systemer. Dette arbejde undersøger, om en letvægts 3D-objektdetektor kan opnås ved at fusionere kamerabilledernes tætte RGB-information med LiDARs sparsomme punktskydata. Vi konstruerer en tostrenget ryggrad, hvor punkt-skyen kodes til et fugleperspektiv (BEV) via PointPillars, mens et frontvendt billede kodes separat; ved hver netværksstage kombineres strømme med en ny attention-baseret fusion, der bruger dybdeseparable konvolutioner. Som detektionshoved afprøver vi både en center-baseret metode (CenterPoint) og en enkelt-skud detektor. Evaluering på KITTI 3D-benchmarket viser, at opsætningen ikke konvergerer til brugbare 3D-afgrænsningsbokse, hverken med frontbillede eller BEV, hvilket understreger de betydelige udfordringer ved at opnå tilstrækkelig nøjagtighed under stramme ressourcebegrænsninger.
[This apstract has been generated with the help of AI directly from the project full text]