Be the only one, not the best one

안녕하세요 SLAM공부 김기섭입니다.

논문이 너무 많은 시대입니다.

최신 논문 중 뭘 읽어야 할지 따라가기가 늘 힘들었는데

아래 슬라이드들에 논문 리스트업+요약 이 간단하게 잘 되어있네요! (정말 대단하신분!!)

또 모두 2019년도 업로드 자료라 최신 반영이 잘 되어있는거같습니다 (저도 아직 몇개 안봤지만.,,,)

공유합니다

#

# 2019 - SLAM related

Dynamic Mapping in SLAM

- https://www.slideshare.net/yuhuang/dynamic-mapping-in-slam

Semantic SLAM I

- https://www.slideshare.net/yuhuang/semantic-slam

Semantic SLAM II

- https://www.slideshare.net/yuhuang/semantic-slam-ii

Stereo Matching by Deep Learning

- https://www.slideshare.net/yuhuang/stereo-matching-by-deep-learning

Depth Fusion from RGB and Depth Sensors II

- https://www.slideshare.net/yuhuang/depth-fusion-from-rgb-and-depth-sensors-ii

Depth Fusion from RGB and Depth Sensors III

- https://www.slideshare.net/yuhuang/depth-fusion-from-rgb-and-depth-sensors-iii

Depth Fusion from RGB and Depth Sensors IV

- https://www.slideshare.net/yuhuang/depth-fusion-from-rgb-and-depth-sensors-iv

#

# 2019 - Autonomous Driving related

Lidar for Autonomous Driving II (via Deep Learning)

- https://www.slideshare.net/yuhuang/lidar-for-autonomous-driving-ii-via-deep-learning

LiDAR-based Autonomous Driving III (by Deep Learning)

- https://www.slideshare.net/yuhuang/lidarbased-autonomous-driving-iii-by-deep-learning

fusion of Camera and lidar for autonomous driving I

- https://www.slideshare.net/yuhuang/fusion-of-camera-and-lidar-for-autonomous-driving-i

fusion of Camera and lidar for autonomous driving II

- https://www.slideshare.net/yuhuang/fusion-of-camera-and-lidar-for-autonomous-driving-ii-181748995

3-d interpretation from stereo images for autonomous driving

- https://www.slideshare.net/yuhuang/3d-interpretation-from-stereo-images-for-autonomous-driving

3-d interpretation from single 2-d image for autonomous driving II

- 3-d interpretation from stereo images for autonomous driving II

SLAM 백엔드에서 최적화에 쓰이는 factor graph에 대한 short course가 최근에 열렸네요 ㅎ
유튜브 영상 강의와 예제 코드도 제공합니다 ㅎ

영상: https://www.youtube.com/playlist?list=PLOJ3GF0x2_eWtGXfZ5Ne1Jul5L-6Q76Sz
코드: https://github.com/jlblancoc/2020-ual-factor-graphs-course

Visual Odometry 방법 중 direct method를 사용한 Direct Sparse Odometry(DSO) 논문의 내용 일부분을 정리한 pdf 파일입니다.

대부분의 내용은 https://blog.csdn.net/xxxlinttp/article/details/89379785 블로그를 보면서 참조했습니다. (저처럼 중국어를 모르시는 분들은 중/영 번역을 하신 다음 보시면 될 것 같습니다.)

direct method는 pose tracking을 수행하기 위해 거의 전적으로 최적화에 의존하고 있어서 대부분의 내용이 최적화와 관련된 내용인 것 같네요. 추가적으로 DSO 논문에서는 photometric calibration parameter (a,b)와 inverse depth까지 추가되어서 조금 더 복잡한 식이 유도되는 것 같습니다

아직 정확히 모르는 개념들이 많아서 (SSE2 프로그래밍, Photometric Calibration, ...) 정리되는대로 업데이트하려고 합니다

논문 링크: http://vladlen.info/papers/DSO.pdf

코드 링크: https://github.com/JakobEngel/dso

논문과 코드를 보실 때 같이 참조해서 봐주시면 어느정도 도움이 될 수 있을 것 같습니다

개인적으로 공부하기 위해 작성한 자료여서 틀린 부분도 존재할 것 같네요. 혹시 틀린 부분이 있다면 말씀해주시면 감사하겠습니다

안녕하세요 SLAM공부 중인 김기섭입니다.

Complex Urban Dataset 에서는 (https://irap.kaist.ac.kr/dataset/download_1.html)

다양한 도시환경에 대해 LiDAR data를 제공하고 있는데요,

서울, 여의도, 판교 등 현재 공개된 데이터셋들 중에서는 제일 다양한 복잡한 도시환경을 제시하고 있다고 생각됩니다.

근데 전방을 보는 360도 3D lidar 가 없어서 아쉬움이 있었는데요

2D lidar 를 쌓은 point cloiud map 을 불러와서

GT 포즈 기반으로 projection해서 virtual 3D scan 을 만드는 코드를 짜봤습니다.

완전히 실제라고 할수는 없지만,

ray 수, vertical FOV, maximum range 등을 사용자가 원하는대로 조절할 수 있기 때문에

또 어떤 목적에서는 유용할 거 같기 (를 기대하며..!) 도 하네요...

코드: https://github.com/kissb2/ComplexUrbanH3DS

예시: https://youtu.be/ZUZ0dMMz17U

감사합니다.

안녕하세요 SLAM공부 김기섭입니다.

ORB SLAM study 2부가 곧 시작되는 걸로 알고 있는데요!

#

그래서 피처기반 슬램의

제일제일 기본이 되는

코너찾기에 관한 조은 자료가 있어 들고와봤습니다

https://medium.com/pixel-wise/detect-those-corners-aba0f034078b

설명이 간결하고 파이썬 기반 코드가 있어서

직접 해보면서 느낄 수 있다는 게 장점인 것 같습니다.

이거랑 다크프로그래머님의 유명한 게시글 https://darkpgmr.tistory.com/131 를 같이보면 이론적으로도 균형이 맞을거같습니다.

#

백문이 불여일견이라고 SLAM은 실습이 중요한거같습니다!

비현실세계 이미지 몇장에 대해서 테스트해보기는 아쉽고 따로 하드웨어 세팅하기는 귀찮아서

노트북 내장 카메라 이미지를 받아서 코너 디텍션 성능 비교를 진행해보았습니다.

코드는 https://github.com/kissb2/laptop-slam/tree/master/practice/1_corner_det

실습영상은 https://youtu.be/nWuMZTckWek

입니다.

정말정말정말 간단하니 각자 노트북으로 한번 돌려보시면 재밌을거에요!

감사합니다.

다들 새해복 많이받으시길 바래요

안녕하세요 SLAM공부 김기섭입니다.

#

다들 카메라 많이 쓰시나요, 라이다 많이 쓰시나요?

개인적으로 라이다는 3차원 거리정보가 명확하게 나오고

시간에 따라 (가시광선의 정도에 따라) 해당 장소에서 얻어지는 데이터가 크게 달라지지 않기때문에 (== visual appearance change 에 robust하다)

localization 이나 SLAM에서 place recognition 을 위해 카메라 기반보다 유리하다고 생각하는데요,

#

하지만 카메라에서 얻을 수 있는 영상정보의 장점이 분명 있기 때문에,

카메라를 쓰면서 라이다의 이점을 얻을 수 있다면 참 좋겠다고 생각하고 있었는데요,

관련 논문을 하나 소개해드리려고 합니다.

https://arxiv.org/pdf/1909.07267.pdf

Place Recognition for Stereo Visual Odometry using LiDAR Descriptors

ICRA20 submit 이라고 하고

코드도 있네요 https://github.com/jiawei-mo/3d_place_recognition



#

아이디어는 간단합니다.

스테레오 카메라의 경우 3차원 포인트클라우드를 direct로 얻을 수 있기 때문에,

이렇게 얻어진 point cloud 를 기존 개발된 lidar place recognition 의 input으로 넣어주면

카메라로도 place recognition 잘 할 수 있지 않을까? 라는 논문입니다.

#

아이디어는 간단한데 실험을 풍부하게 많이 해주었구요,

이미지에서 Place Recognition 으로 많이 쓰이는 NetVLAD보다

lidar 를 위해 개발되었던 방법들이 (특히 계절이 다른 두 시퀀스 사이에서) 더 성능이 좋음을 보고하고 있습니다.

appearance 보다 structure 가 일단은 장소 인식에 더 Robust 하다고 볼 수 있겠네요.

하지만 이미지 appearance도 분명 장점이 있는 만큼 카메라 기반에서 appearance와 structure 를 융합하는 시도가 다음 연구 추세가 될거같기도 하네요.

어서 누가 해줬으면 좋겠습니다!

#

이상입니다

감사합니다~

Naver D2 테크톡 영상중에

슬램관련 좋은것들이 있네요

Depth estimation: Do we need to throw old things away?

https://www.youtube.com/watch?v=qs_aI40WrX8

Visual Geometry with Deep Learning

https://youtu.be/87DcC8ksRHs

지난 ROSCON 2019에서

SLAM toolbox 라는 것이 소개되었었네요

video: https://vimeo.com/378682207

slide: https://roscon.ros.org/2019/talks/roscon2019_slamtoolbox.pdf

code: https://github.com/SteveMacenski/slam_toolbox

abstract:

We introduce the SLAM Toolbox. It implements synchronous and asynchronous SLAM for massive indoor and changing environments as well as life-long mapping and localization modes. SLAM Toolbox brings several improvements over the existing solutions. This includes plugin optimizers with default Ceres, speed-ups in Karto's scan matcher, pose-graph manipulation tools, serialization, continued mapping on serialized SLAM graphs, pose-graph localization rolling window technique as a replacement for AMCL, and enables fully distributed mapping without the use of derived 2D occupancy image maps. This package was built for mapping of massive retail and warehouse applications, though likely effective out of those scopes. This talk will go over key points of SLAM Toolbox, demonstrations in production environments, and how to enable it in your application.