모두의연구소 - AI COLLEGE 소식
오늘은 SOS LAB 이용이 박사님이 자율주행에서의 개체 인식을 목적으로 연구되고 있는 딥러닝 기반 3D object detection 논문들의 최근 동향에 대해서 이야기해주셨습니다.
뒷부분은 너무 재밌어 몰입하느라 적지 못했지만 간단히 정리해보면,
라이다의 3세대
1 세대 : Velodyne Lidar
- 스피닝 방식. 회전을 하며 360도를 촬영함 . 단점은 내구성이 낮음
2 세대 : Mechanical Scanning -IBEO
- 내구성이 좋아짐
- 단점 : 물체가 있다. 없다. 정도만 인식 가능
3세대 : Hybrid Scanning (SOS LAB이 쓰는 것)
- 굉장히 빠른 스캐닝
- 3cm 의 오차정확도
- 360도는 촬영을 못함
- 150도의 3D 모델링 가능
라이다 시스템 : Transmitter
- 사람의 눈에 905nm 이상은 사람의 각막에 안좋음
- 하지만 1550nm 이상은 사람 각막을 뚫지 못함
-최근 연구에 사람 각막은 뚫지 못하지만 카메라에 데이지 입힘
라이다 응용분야 :
- 항공
- 군사
- 토목,건축
- 지리 정보 시스템
- 자율주행 자동차
자율주행자동차 :
-자율주행 레벨 5 :
사람이 상상하는 진짜 자율주행을 레벨 5라고 한다.(진짜 자율주행 : 사람이 전혀 운전하지 않아도 주행)
현재 테슬라의 자율주행은 레벨3 정도
레벨 4 : 객체를 인식해서 자동으로 피하는 정도.(우버, 바이두 ,웨이모)
레벨 5 : 레벨 5와 레벨4의 다른점은 레벨4가 성숙되어 조향장치가 없는 자동차
자율주행을 위한 자동차는 센서가 굉장히 많이 필요하다. (현재의 기술로는)
자율주행 자동차를 위한 데이터 수집
- 각 회사, 나라에서 데이터셋을 구축하는데 노력을 많이 하고 있다.
- 이유는 인도에서 잘 되는 자율주행자동차가 한국에서 잘 되진 않는다.
(인도에서는 거리에서 소가 지나가님)
자율주행의 핵심 요소:
1. 개체 인식
2. 위치 추정(SLAM)
3. 센서/감지
4. 경로 계획/제어
딥러닝이 자율주행에 가장 실용적으로 적용되는 분야는 Recognition 이다.
- 딥러닝이 아무리 잘되도 input이 garbage면 예측이 어렵다.
(자율주행에서는 터널에서 나왔을때 갑자기 밝은 빛이 들어오는 경우)
-이미지 기반의 딥러닝이 아무리 잘된다고 하더라도(99%이상이더라도) 1%의 미스가 큰 사고로 이어짐
- 그래서 이미지와 라이다 등 다른 정보들을 사용해서 모델의 성능을 높이는 연구가 많이 되고 있음
자율주행에서의 객체인지란?
- 내가 주행하고 있을때 주위의 위치, 방향(X,Y,Z)
- 2D와는 다르게 3차원이어야함
라이다 point cloud를 이용한 object detection?
-라이다에서 얻어지는 포인터 클라우드는 데이터의 연관성이 전혀 없다.
-포인트 클라우드는 규칙적이지 않다.(포인트의 갯수가 항상 일정하지 않다.)
-라인다 포인트 클라우드는 덴시티가 전부 다르다. (멀리서 찍으면 포인터가 sparse하다)
궁금점 : 같은 오브젝트를 같은 각도, 같은 distance에서 두번 찍엇을때 포인터 클르우드의 포인터 갯수가 달라지나?
- > 답변 : 거의 비슷하지만 다른 객체가 배경에 있다면 Index가 달라짐
oxelization :
Voxelization + 3D CNN
- Voxel 만드는 과정에서 cost가 굉장히 많이 든다.
- 정확도에서는 장점이 있음
- Voxelization 에 딥러닝을 적용하여 가장 잘 된 논문
- Voxel NET
포인터 클라우드를 일렬로 넣고 피쳐 임베딩을 계속 시킴
내가 한 질문 : 이거 겁나 느릴것 같은데?
6~10 FPS 정도 나온다.
그러면 자율주행에서 안전하다고 기준되는 바운더리의 값은 몇이냐?
레이더에서는 10FPS 정도이다( 라이다는 200미터 앞을 측정할 수 있기에 기준이 낮다.)
카메라에서는 60 FPS 정도로 본다.
2D Projection + 2D CNN
일단 형태를 2D로 만들고 딥러닝에 넣자.
MV3D
라이다 3D 데이터를 카메라랑 똑같은
RGB, bird eye view , Front view 세가지를 CNN에 넣고 feature를 뽑은 다음 concat 함
Frustum PointNets
1. 카메라에서 먼저 2D object detection을 함
2. detection 한 부분에서만 포인트 클라우드 적용
정말 좋은 세미나 였습니다. 이용이 박사님, SOS LAB함께 모두연 AI COLLEGE 달려보겠습니다!
https://www.facebook.com/groups/modulabs/permalink/2561195253945642/?sfnsn=mo
