Be the only one, not the best one

안녕하세요, SLAM 공부하는 장형기입니다.

Roland Siegwart 교수님 랩실에서 Line 기반 place recognition 방식이 새로 나왔습니다. RGB-D 센서로부터 나오는 Visual + Geometric 정보로부터 line을 추출하고, 딥러닝 Attention을 통해 line clustering 및 descriptor 생성을 해주네요.
정확도만 보자면 SIFT + BoW보다는 좋고, SuperPoint + BoW와 비슷합니다. 하지만 NetVLAD에 비해서는 아직 많이 뒤처지는 모습을 보이네요.
Visual Feature가 부족한 산업 환경 등에서 유용하게 쓰일 수 있을 것 같습니다.

논문 링크: https://arxiv.org/pdf/2010.10867.pdf

안녕하세요~ 저희 그룹에서 지난 반기동안 진행된 Sensor Fusion Study 관련 전체 유튜브 및 슬라이드쉐어 스터디자료를 깃헙으로 정리하여 공유드립니다. 🙂 스타 많이 눌러주세요~

마지막 시간에는 실제 센서퓨전이 현실에서 어떻게 응용되는지 imu/gps/radar/lidar/camera fusion 관련 작은 세미나도 가졌습니다. 그동안 훌륭하신 스터디 원분들과 함께해서, 지식적으로 성장 뿐만아니라 좋은 에너지와 보람을 느꼈던 시간이었습니다. 함께 잘 이끌어주신 hayden님 너무 감사드려요.

저희가 학습한 KF, EKF, UKF, H infinity Filter, Particle Filter 등을 kitti dataset 을 파싱해 python 코드로 직접 구현하는 스터디를 Sensor Fusion 2 에서 진행할 예정이니 많이 기대해주세요~


Skip to content

Sign up

ai-robotics-kr/sensor_fusion_study

Sensor Fusion Study Based on "Optimal State Estimation"

 7 stars  0 forks

 Star

 Watch

Code

Issues

Pull requests

Actions

Projects

Security

Insights

Dismiss

Join GitHub today

GitHub is home to over 50 million developers working together to host and review code, manage projects, and build software together.
Sign up

 master 

Go to file

Latest commit



howtowhy

…

22 days ago

Git stats

Files

View code

README.md

Sensor Fusion Study

Sensor Fusion Study Based on "Optimal State Estimation - Dan Simon"

Sponsor by AI Robotics KR https://www.facebook.com/groups/airoboticskr/



Members

Study Lead :

Stella Seoyeon Yang @howtowhy, Hayden

Study Contributors :

Sora Kang, Dong Hyun Kim, Jeong Eun Park @jeongeun980906, Jin Hyuk Song @Jinhyeok1489, Young Beom Kim @eddy979797, Hae Gu Lee, Sung Min Ahn @aminsung, Soo Young Kim @kimsooyoung, Young Joo Kim, Kile

𝐂𝐡𝟏. 𝐋𝐢𝐧𝐞𝐚𝐫 𝐒𝐲𝐬𝐭𝐞𝐦 : Hayden

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch1-linear-system-hayden

Youtube : https://youtu.be/-6pO8G8PHC4

𝐂𝐡𝟐. 𝐏𝐫𝐨𝐛𝐚𝐛𝐢𝐥𝐢𝐭𝐲 𝐓𝐡𝐞𝐨𝐫𝐲 : Seo Yeon Stella Yang

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-probability-theory-stella

Youtube :https://youtu.be/38dVDay2XnA

𝐂𝐡 𝟑. 𝐋𝐞𝐚𝐬𝐭 𝐒𝐪𝐮𝐚𝐫𝐞 𝐄𝐬𝐭𝐢𝐦𝐚𝐭𝐢𝐨𝐧 : Sora Kang, Stella, Hayden

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch3-least-square-estimation-stella-hayden

Youtube : https://youtu.be/C_gtrXk3zNo

𝐂𝐡𝟒. 𝐏𝐫𝐨𝐩𝐚𝐠𝐚𝐭𝐢𝐨𝐧 𝐨𝐟 𝐬𝐭𝐚𝐭𝐞𝐬 𝐚𝐧𝐝 𝐜𝐨𝐯𝐚𝐫𝐢𝐚𝐧𝐜𝐞 : Dong Hyun Kim

Slide: https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch4-propagation-of-states-and-covariance

Youtube:https://youtu.be/38dVDay2XnA

𝐂𝐡 𝟓. 𝐓𝐡𝐞 𝐃𝐢𝐬𝐜𝐫𝐞𝐭𝐞-𝐓𝐢𝐦𝐞 𝐊𝐚𝐥𝐦𝐚𝐧 𝐅𝐢𝐥𝐭𝐞𝐫: Jeong Eun Park

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch5-the-discretetime-kalman-filter

Youtube : https://www.youtube.com/watch?v=j9CRDGqmJ1I

𝐂𝐡 𝟔. 𝐀𝐥𝐭𝐞𝐫𝐧𝐚𝐭𝐞 𝐊𝐚𝐥𝐦𝐚𝐧 𝐅𝐢𝐥𝐭𝐞𝐫 𝐅𝐨𝐫𝐦𝐮𝐥𝐚𝐭𝐢𝐨𝐧𝐬: Jin Hyuk Song

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch6-alternate-kalman-filter-formulations-jinhyuk-song

Youtube: https://www.youtube.com/watch?v=xtSLagWgG3g

𝐂𝐡 𝟕. 𝐊𝐚𝐥𝐦𝐚𝐧 𝐅𝐢𝐥𝐭𝐞𝐫 𝐆𝐞𝐧𝐞𝐫𝐚𝐥𝐢𝐳𝐚𝐭𝐢𝐨𝐧𝐬 : Young Beom Kim

Slide :https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch7-kalman-filter-generalizations

Youtube :https://youtu.be/y1T4ogYlJb0

𝐂𝐡 𝟖. 𝐓𝐡𝐞 𝐂𝐨𝐧𝐭𝐢𝐧𝐮𝐨𝐮𝐬-𝐓𝐢𝐦𝐞 𝐊𝐚𝐥𝐦𝐚𝐧 𝐅𝐢𝐥𝐭𝐞𝐫 : Hae Gu Lee

Slide :https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch8-the-continuoustime-kalman-filter

Youtube :https://youtu.be/HtS2SJcXcTE

𝐂𝐡 𝟗. 𝐎𝐩𝐭𝐢𝐦𝐚𝐥 𝐒𝐦𝐨𝐨𝐭𝐡𝐢𝐧𝐠: Hayden

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch9-optimal-smoothing-hayden

Youtube : https://youtu.be/Amm6pObx8No

𝐂𝐡 𝟏𝟎. 𝐀𝐝𝐝𝐢𝐭𝐢𝐨𝐧𝐚𝐥 𝐓𝐨𝐩𝐢𝐜𝐬 𝐢𝐧 𝐊𝐚𝐥𝐦𝐚𝐧 𝐅𝐢𝐥𝐭𝐞𝐫𝐢𝐧𝐠: Stella Seoyeon Yang

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch11-additional-topic-in-kalman-filter-stella-seoyeon-yang

Youtube: https://youtu.be/TI_fV4t6pOU

𝐂𝐡 𝟏𝟏. 𝐓𝐡𝐞 𝐇-𝐈𝐧𝐟𝐢𝐧𝐢𝐭𝐲 𝐅𝐢𝐥𝐭𝐞𝐫 : Young Beom Kim

Slide :https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch11-the-hinfinity-filter

Youtube :https://youtu.be/I_Kuj3coyFI

𝐂𝐡 𝟏𝟐. 𝐀𝐝𝐝𝐢𝐭𝐢𝐨𝐧𝐚𝐥 𝐓𝐨𝐩𝐢𝐜𝐬 𝐢𝐧 𝐇-𝐈𝐧𝐟𝐢𝐧𝐢𝐭𝐲 𝐅𝐢𝐥𝐭𝐞𝐫𝐢𝐧𝐠 : Hayden

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch12-additional-topics-in-hinfinity-filtering-hayden

Youtube :https://youtu.be/Y7xQXTdHKWw

𝐂𝐡 𝟏3. 𝐍𝐨𝐧𝐥𝐢𝐧𝐞𝐚𝐫 𝐊𝐚𝐥𝐦𝐚𝐧 𝐅𝐢𝐥𝐭𝐞𝐫𝐢𝐧𝐠 : Sung Min Ahn

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch13-nonlinear-kalman-filtering-ahn-min-sung

Youtube :https://youtu.be/xucMwb7yAwY

𝐂𝐡 𝟏4. 𝐓𝐡𝐞 𝐔𝐧𝐬𝐜𝐞𝐧𝐭𝐞𝐝 𝐊𝐚𝐥𝐦𝐚𝐧 𝐅𝐢𝐥𝐭𝐞𝐫 : Soo Young Kim

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch14-the-unscented-kalman-filter-sooyoung-kimg

Youtube :https://youtu.be/niHpxUUbZ6c

𝐂𝐡 𝟏5. 𝐓𝐡𝐞 𝐏𝐚𝐫𝐭𝐢𝐜𝐥𝐞 𝐅𝐢𝐥𝐭𝐞𝐫 : Stella Seoyeon Yang

Slide : https://www.slideshare.net/roboticskrai/sensor-fusion-study-ch15-the-particle-filter-seoyeon-stella-yang

Youtube :https://youtu.be/23QPRsIlJHk

Additional Session :

𝐑𝐞𝐚𝐥𝐰𝐨𝐫𝐥𝐝 𝐒𝐞𝐧𝐬𝐨𝐫 𝐅𝐮𝐬𝐢𝐨𝐧 𝟏 : Soo Young Kim, Stella Seoyeon Yang

Slide1:https://www.slideshare.net/roboticskrai/sensor-fusion-study-real-world-1-lidar-radar-fusion-kim-soo-young-237932335

Slide2:https://www.slideshare.net/roboticskrai/sensor-fusion-study-real-world-2-gps-ins-fusion-stella-seoyeon-yang-237976578Youtube :https://youtu.be/23QPRsIlJHk

Youtube : https://youtu.be/74bdIvTIjvY

𝐑𝐞𝐚𝐥𝐰𝐨𝐫𝐥𝐝 𝐒𝐞𝐧𝐬𝐨𝐫 𝐅𝐮𝐬𝐢𝐨𝐧 𝟐 : Young Joo Kim, Kile

Youtube :https://youtu.be/t-4bAf3woSU

License

[Apache License 2.0][https://github.com/mercy-project/TLdroid/blob/develop/LICENSE]

Releases

No releases published

Packages

No packages published

© 2020 GitHub, Inc.

Terms

Privacy

Security

Status

Help

Contact GitHub

Pricing

API

Training

Blog

About

안녕하세요, SLAM 공부중인 장형기입니다.

이번에 Visual-SLAM에서 필수적으로 사용되는 RANSAC, 그리고 에러 데이터를 (outlier) 제거하는데에 사용되는 M-Estimator 기술들을 설명하는 글을 적고 있습니다.

각각의 기술들의 기술적 진화와 OpenCV에서 구현한 방법및 문제점, 간단한 코드 구현, 그리고 산업/연구 계열에서 사용하는 최신 SOTA 방법론까지 커버해보고 있습니다.

현재 3개의 글이 더 추가될 예정이며, M-estimator의 개념과 사용법에 대해 추가할 예정입니다.

많은 관심 부탁드립니다. 감사합니다!

1) Outlier란?
https://cv-learn.com/Outlier-Robust-estimation-0-Outlier-fa0c9cb92fdc4de79900118766c55cbf

2) RANSAC 소개
https://cv-learn.com/Outlier-Robust-Estimation-1-RANSAC-82e8aefaa56e493cb324ad752f9242f6

3) 기존 RANSAC의 단점 + PROSAC 소개
https://cv-learn.com/Outlier-Robust-Estimation-2-RANSAC-PROSAC-c7243d860b454493b68ff8a34bff4deb

4) OpenCV RANSAC을 그냥 쓰면 안되는 이유 + 업그레이드 RANSAC
https://cv-learn.com/Outlier-Robust-Estimation-3-OpenCV-RANSAC-RANSAC-086b2977b5b14212a3be566861fa3647

안녕하세요. ECCV 메인 컨퍼런스도 이제 이틀차에 접어 들었습니다.

어제 오프닝에서 다른 학회들과 마찬가지로 각종 시상식 코너가 있었는데, PAMI Everingham Prize를 받은 Johannes Schönberger가 눈에 확들어 와서 한번 소개를 드려도 좋겠다 싶어서.. 학회 쉬는 시간을 이용하여 또 글을 써봅니다.

이분의 대표 작품은 바로 COLMAP이라는 오픈소스 SfM (Structure From Motion) 소프트웨어 인데요,

여기서 SfM이란? 우리가 흔히 쓰는 카메라를 단안 카메라 (Monocular) 라고 부르는데요, 우리가 한쪽 눈을 가렸을 때 원근감이 없어지는 것처럼 카메라 하나만 가지고는 3차원 공간상의 구조 정보를 얻을 수가 없습니다. 하지만, 카메라를 이동 시키면 같은 장면을 여러각도에서 보게 되는 효과를 얻게 되죠.. 한쪽 눈 감고 좌우로 움직이면 가까이 있는 물체는 많이 움직이고 멀리있는 물체는 조금만 움직이는 것 처럼.. 카메라를 움직이면서 각 픽셀들이 어찌 이동하는 지를 이용하여 깊이 정보 (Disparity map또는 depth map)을 얻어내고 그걸 계속 차곡차곡 잘 합쳐서 공간이나 물체를 3D로 만들어 내는 기술입니다.

다시 본론으로 들어와서.. COLMAP은 그런 SfM방법 중 가장 오픈소스로서 문서화도 잘 되어있으면서 성능도 좋은 녀석이라, 요즘 2D 이미지로 3D 로 뭔가를 하고자하는 수 많은 연구에서 베이스라인으로도 쓰이고, weak-supervision이나 self-supervision값을 만들어 내는 용도로 활발하게 사용이 되고 있습니다. 궁금하신 분은 핸드폰으로 자기 책상을 여러각도로 찍어보고 프로그램을 돌려보면 오.. 이런게 있구나.. 하실 수도 있을 것 같네요 ㅎㅎ (https://github.com/colmap/colmap) 바이너리도 배포가 되고 있고, 리눅스(우분투)에 익숙하시다면 컴파일 난이도가 높지는 않습니다.

비전 분야에선 워낙 유명하신 ETH의 Marc Pollefeys의 제자로 교수님과 마찬가지로 현재는 MS에서 일을 하시고 있네요. 이분 박사 학위 논문을 읽어보면.. 정말 최신 SfM의 역사가 담겨있는 교과서 느낌이 들었는데.. 연구나 프로그래밍 실력이 정말 대단한 것 같음을 느꼈습니다.

혹시 로봇에 단안 카메라를 장착하고 이것저것 해보고 계시다면, SfM을 이용해서 로봇의 인지능력을 3D공간으로 끌어 올리시는 것도 좋은 시도가 되지 않을까 생각합니다.

P.S: 앞으로도 이렇게 과학계 샛별같은 사람 또는 대가님들을 소개하는 글을 종종 올릴까하는데 그룹 분들의 의견도 함 들어보고 싶네요!

Super Fast and Accurate 3D Object Detection based on LiDAR
Fast training, Fast inference
An Anchor-free approach
No Non-Max-Suppression

Model:
ResNet-based Keypoint Feature Pyramid Network (KFPN)

Inputs: Bird-eye-view (BEV) maps that are encoded by height, intensity, and density of 3D LiDAR point clouds.

Outputs: 7 degrees of freedom (7-DOF) of objects: (cx, cy, cz, l, w, h, θ)
cx, cy, cz: The 3D center objects.
l, w, h: length, width, and height of the bounding box.
θ: The heading angle in radians of the bounding box.
Objects: Cars, Pedestrians, Cyclists.

The pre-trained model has been released in the repo.

Source code: https://github.com/maudzung/Super-Fast-Accurate-3D-Object-Detection

안녕하세요 lidar slam 공부 중인 기섭입니다.

lidar slam 과 딥러닝을 어떻게 접목해야 할지 평소에 고민이 많은데요,
다름이 아니라 3D DL 동향에 대해 간단히 소개해드리려고 합니다.

robotics 에서 주로 lidar 를 통해 3D point cloud 를 얻게 됩니다.
하지만 3D data 는 image 와 달리 pixel구조를 갖지 않기 때문에 ("unstructured" and "unordered") visual domain 에서 잘 개발된 2D convolution 및 노하우들을 사용하기 어려운 단점이 있었습니다.

1. 시즌 1 - 시작 : PointNet 계열
그래서 PointNet (17 CVPR)이 point를 MLP를 통해 학습하면 이 문제를 해결할 수 있다고 보였고, 이후 연구들은 좀 더 receptive filed 를 어떻게 하면 더 flexible 하게 가져갈 수 있을지, 그래서 local structure 를 더 잘 포착해서 더 좋은 피처를 만들 수 있을지에 관해 연구들이 되어온거같습니다.
주요논문: PointNet, PointNet++, DGCNN, KPConv

2. 로보틱스 - 우회? : projection and 2D conv 계열
하지만 왠지 로보틱스에서 접하는 large-scale and sparse lidar scan 의 경우 pointnet 기반의 방법이 잘 안된다는 심증 + 물증(19 ICCV SemanticKITTI가 지적한 바 있습니다) 들이 학계에 있는거 같구요,
그래서 2D range image 상에서 하면 잘된다는 방법들이 주로 개발되어 오고 있는거같습니다.
(RangeNet++, LO-Net, DeepLO)
최근에는 Ouster lidar 같이 2D form으로 잘 arranged 된 lidar 도 개발되고 있어서 역시 이런 우회?도 타당하고 분명히 효과있는 것 같구요.

3. 시즌 2? : Sparse Conv 계열
근데 2D projection image 가 과연 최선일까 라고 계속 생각이 들긴 하는데요,
최근에는 3D conv 를 MLP로 우회해서 하는 것이 아니라 기존의 conv 연산을 sparse 하게 할 수 있는 툴들이 공개되고 있는거같습니다. 그래서 3D or 더 높은 k-dim 에서 연산을 바로 할 수 있는 거 같구요.
주요논문: SparseConvNet (18 CVPR), MinkowskiNet (19 CVPR)
저도 아직 방법은 자세히 이해하지는 못했는데요,
최근 (2019, 2020) 에 급격히 이 계열의 툴 (Minkowski Engine) 을 이용한 applications 들이 등장하고 잘된다고 보고가 되고 있는 것 같습니다. https://github.com/NVIDIA/MinkowskiEngine/wiki/Usage
타겟 어플리케이션의 종류도 segmentation 등에 국한되지 않은 것 같구요

그래서 결국 최신의 3D DL tool 을 어떻게 lidar slam 과 물릴지 관심이 많은데요
관심만 많습니다..
비슷한 고민있으신 분들 종종 이야기나눌 기회가 있다면 좋을 거 같습니다.

감사합니다!

안녕하세요, SLAM 공부하는 장형기입니다.

최근 Visual-SLAM 논문들이 새로 나오면서, 이전에 했던 강의 슬라이드 내용을 업데이트 하였습니다.

이전과 동일하게 Feature-based SLAM, Direct SLAM, Visual-Inertial SLAM, Deep Learning SLAM 내용이 있고, 추가로 SLAM의 배경 내용이 되는 Kalman filter / Monte-Carlo Localization, 2020년 신규 업데이트 된 논문들, 그리고 기술 소개에 대한 부분을 조금 더 추가하였습니다. 파일에 영상이 많아 슬라이드쉐어 보다 원본 파일을 보시는 것을 추천드립니다.

감사합니다.

비디오 링크 포함 ppt (추천):
[https://cv-learn.com/PPT-SLAM-63bfe2f3902840e1b9db8d5387050574](https://cv-learn.com/PPT-SLAM-63bfe2f3902840e1b9db8d5387050574)

저용량 ppt:
[https://www.slideshare.net/HyunggiChang/visualslam-in-1-day](https://www.slideshare.net/HyunggiChang/visualslam-in-1-day)

#돌리면서배우는SLAM

안녕하세요, lidar slam 공부중인 기섭입니다.

오늘은 2D lidar slam 튜토리얼을 하나 작성해보았습니다.

SLAM을 몰라도 해보실 수 있을거같습니다.

지난 2019 ROSCon 에서 공개된

SLAM-toolbox 라는 프로그램을 돌리는 예제 및 설명입니다.

https://www.notion.so/giseopkim/SLAM-toolbox-aac021ec21d24f898ce230c19def3b7b

감사합니다~

안녕하세요 lidar slam 공부중인 김기섭입니다.

LeGO-LOAM 저자의 신작이 공개되었습니다

늘 코드와 데이터를 공개해줘서 공부에 큰 도움이 되는 분입니다 ㅎㅎ

IROS 2020 이라고 합니다. MIT에 포닥간 동안 한거같네요

LOAM + IMU + GPS 다섞고

실전 라이다 매핑용 논문인듯합니다

실험이 엄청 많네요

논문: https://arxiv.org/abs/2007.00258

코드: https://github.com/TixiaoShan/LIO-SAM

동영상: https://www.youtube.com/watch?v=A0H8CoORZJU&t=245s

감사합니다

#3분슬램

안녕하세요, lidar slam 공부중인 김기섭입니다.

SLAM을 몰라도 한번 돌려보면 재밌어진다! 라고 평소에 생각하는데요.

3분이면 (녹화하는데는 16분 걸렸지만...)

따라해볼수 있는 A-LOAM 실습 영상을 찍어보았습니다.

https://youtu.be/Ea2sDqXf6ZY

특히 A-LOAM 원래 깃헙 리포에서는 velodyen lidar 에 대해서만 launch 파일이 준비되어 있어서

다른 lidar 에 대해 사용하고 싶을 때 어떻게 해야하는지 다뤄보았습니다.

MulRan dataset 에 있는 Ouster lidar 에 대해 사용해보았습니다.

이상입니다!

https://m.youtube.com/watch?feature=youtu.be&v=YPkSXTaGACA

#3분슬램

안녕하세요 좋은 일요일입니다!

visual slam 에서 현재 가장 큰 축으로 ORB-SLAM 와 DSO가 있는데요,

DSO 를 ros 에 물리는 과정이 리드미에서 크게 친절하지 않아서

한번 영상으로 찍어보았습니다.

https://youtu.be/YPkSXTaGACA

사실 돌려보는데 3분보다는 오래 걸리지만...

그만큼 쉽게 DSO도 한번 돌려보시면

SLAM이 재밌어질거라 믿습니다 !

감사합니다

#CVPR2020

딥러닝 기반의 피쳐 추출 알고리즘인 Superpoint와

딥러닝 기반의 대응점 탐색 알고리즘인 Superglue를 소개하고 있습니다 ㅎ

Visual SLAM 분야에도 딥러닝이 많이 활용되고 놀랍도록 좋은 결과를 보이고 있네요 ㅎ