https://arxiv.org/pdf/2006.11275
first stage
Our framework, CenterPoint, first detects centers of objects using a keypoint detector and regresses to other attributes, including 3D size, 3D orientation, and velocity.
프레임 워크인 CenterPoint는 먼저 keypoint detector 를 사용하여 객체의 중심을 탐지하고 3D크기와 3D 방향 및 속도를 포함한 다른 속성으로 예측한다.
<aside> 💡
keypoint detector
</aside>
라이다 센서로 부터 들어온 3D 포인트 클라우드 데이터는 그대로 사용하기 어려움
Architecture 에서
It then flattens this representation into an overhead map-view and uses a standard image-based keypoint detector to find object centers
→ VoxelNet이나 PointPillars 같은 백본 네트워크를 통해 이 3D 데이터를 verhead map-view(위에서 내려보는) 형태로 가공해서
keypoint detector을 사용해서 객체의 중심점이 존재할 확률 즉 Heatmap을 출력하는 역할을 함.
heatmap을 이용한 탐지 방식
2D CenterNet [62] rephrases object detection as keypoint estimation. It takes an input image and predicts a w × h heatmapYˆ ∈ [0, 1]^w×h×K for each of K classes . Each local maximum (i.e., pixels whose value is greater than its eight neighbors) in the output heatmap corresponds to the center of a detected object
2D CenterNet은 객체 탐지를 keypoint 추정(keypoint estimation)으로 재구성. 이것은 입력 이미지를 받아 각 K개의 클래스에 대해 w x h 크기의 히트맵을 예측. 출력된 히트맵의 각 지역 최댓값(local maximum)(즉, 8개의 이웃 픽셀보다 값이 큰 픽셀)은 탐지된 객체의 중심에 해당합니다." 이를 통해 keypoint dector가 히트맵을 생성 → 그 히트맵에서 가장 높은 값을 갖는 지점을 객체의 중심으로 간주 ****