'Deep Learning/resources'에 해당되는 글 145건

  1. 2021.03.18 [ TF Everywhere 행사 영상 및 메이킹 영상 공유] 안녕하세요! 어제 날짜로 TF Everywhere 텐플마을에 오신것을 환영합니다
  2. 2021.03.02 https://www.myheritage.com/deep-nostalgia MyHeritage 라는 독일 회사에서 개발한 Deep Nostalg
  3. 2021.02.28 [ TF Everywhere 행사 영상 및 메이킹 영상 공유] 안녕하세요! 어제 날짜로 TF Everywhere 텐플마을에 오신것을 환영합니다
  4. 2021.02.26 안녕하세요! 카사바 잎 질병 분류 대회(Cassava Leaf Disease Classification Competition)가 끝나고 개인적
  5. 2021.02.18 안녕하세요, Cognex Research Engineer 이호성입니다. 요즘 컴퓨터 비전계를 뜨겁게 달구고 있는 모델이 있습니다. 바로 자연
  6. 2021.02.16 Poor smartphone photo scans are really annoying and these researchers finally fi
  7. 2021.02.08 안녕하세요 TensorFlow KR 여러분! Style Transfer 분야의 핵심이 되는 두 논문을 소개하는 영상을 만들어 공유합니다. 논문이나 코드 관련 질문은 이 페북 댓글로 남겨주시면 답변 드리겠습니다!Style ..
  8. 2021.02.05 [AP & mAP 내용 정리] 분류기의 성능 평가를 위한 지난 포스팅(정밀도(Precision)와 재현율(Recall) 내용 정리)에 이어 이번
  9. 2021.02.04 ML 고수분들께 질문드립니다! 딥러닝 공부를 해오면서 요즘 더욱 더 기본기의 중요성을 느끼고 있는데 기본기를 직접 구현을 통해 복습해보려고 하는
  10. 2021.02.01 Self-Supervised 계열의 paper를 정리하려는 목적으로 만든 repository에 꾸준히 스타가 생기고 있어서 기분이 좋아 정리를
  11. 2021.01.21 안녕하세요 딥러닝 논문읽기 모임 입니다! 오늘 소개해 드릴 논문은 현재 많은 Image classification 분야에서 SOTA를 달성했던
  12. 2021.01.15 "RepVGG: Making VGG-style ConvNets Great Again" 논문 소개 안녕하세요, Cognex 이호성입니다. 재미있
  13. 2020.12.17 Deep Learning in Life Sciences by Massachusetts Institute of Technology (MIT)
  14. 2020.11.25 Cheat sheet for python Neural network Machine Learning Data Science for newbies ALL PDF.https://bit.ly/394jjDH
  15. 2020.11.19 https://youtu.be/MMQjmeTmoxQ  최재식 교수님께서 설명가능한 AI(딥러닝)에 관한 여러 모델을 알기 쉽게 말씀해 주셨습니
  16. 2020.10.08 Made With ML Topics A collection of the best ML tutorials, toolkits and researc
  17. 2020.09.29 Multi-View Brain HyperConnectome AutoEncoder For Brain State Classification Ban
  18. 2020.09.15 풀스택 딥러닝 [https://course.fullstackdeeplearning.com/](https://course.fullstackdee
  19. 2020.08.27 안녕하세요. 모두연 여러분. 얼마전에 열렸던 AI Grand Challenge 4차 대회의 경량화 트랙에서 사용했던 구현체를 공개합니다 (최종
  20. 2020.08.26 Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from
  21. 2020.08.25 간단히 바로 가져다 쓸 수 있는 easyOCR API 소개 드립니다. 강원도 놀러갈 때마다 보이는 간판인데, 신나기 시작하는 "인제 - 신남"
  22. 2020.08.24 SNU AI (구 SNU TF) 스터디 모임 7기에서 매주 발표되는 논문리뷰 자료들을 정리하여 TF Korea 분들께 카드뉴스형식으로 정리한 S
  23. 2020.08.24 안녕하세요. 새로 운영진에 합류하게 된, 그리고 비엔나에서 로봇 비전 연구하는 박기루 입니다. 운영진이 되고나서.. 첫글로 제 논문 홍보를 하기
  24. 2020.08.14 캐글 첫 4x 그랜드마스터인 Abhishek Thakur가 머신러닝 딥러닝 코스를 기획중인것 같습니다 상당히 다양한 주제를 커버할 것으로 보
  25. 2020.07.28 Made With ML Topics A collection of the best ML tutorials, toolkits and research
  26. 2020.07.27 Image Augmentation Is All You Need: Regularizing Deep Reinforcement Learning fro
  27. 2020.07.17 EDA를 쉽게 해볼 수 있는 좋은 파이썬 라이브러리가 있습니다. sweetviz pandas-profiling html 보고서도 만들어주고
  28. 2020.07.14 [Github/Repo] Pytorch Metric Learning 딥러닝 모델을 훈련 시킨다는 것은 '어떤 Loss를 어떻게 줄일것이냐' 입
  29. 2020.07.10 Latest from Purdue and Chicago researchers: Low-Power Object Counting! For proj
  30. 2020.07.09 오늘은 논문대신 프로젝트를 하나 짧게 소개드립니다. 회사에서 OCR엔진을 만들기에는 너무 인력이 많이 필요하고 클라우드 OCR를 쓰기엔 제약이

[ TF Everywhere 행사 영상 및 메이킹 영상 공유]
안녕하세요! 어제 날짜로 TF Everywhere 텐플마을에 오신것을 환영합니다 행사가 성공적으로 마무리 되었습니다. 와-아! 게더타운부터 유튜브 스트리밍까지 700🔥이 넘는 뷰를 달성하며 많은 분들께서 관심을 가져주셨는데요. 👾게더 타운에서 사과찾기, 9와 3/4 공간 찾기👾등 팝업이벤트도 너무 빠르게 성공 해주셔서 역시 개발자 컨퍼런스 답다~ 싶게 열정이 뿜뿜!! 저도 많이 배워간 행사였습니다.
(본론) 유튜브 스트리밍으로 각 세션을 참관하셨지만 안타깝게 게더 타운 티켓을 겟하지 못하신 분들을 위해! 이 행사에 대해 짤막하게 메이킹 영상을 만들어보았습니다! 더불어 병렬적으로 진행된 네가지 세션에 대한 업로드 영상도 함께 공유하니 현장에서 멀티 세션을 모두 보지 못해 아쉬웠던 분들 역시 보시면 좋을 것 같네요 :)

모든 스피커분들 감사드리고, 행사에 큰 도움 주신 권순선, 김나연 님 너무 감사드립니다! 좋은 주말 되세요!

- Beginner Session: https://youtu.be/2QxfO_md9N4
- Developer Session: https://youtu.be/Xe_gFoVTwcQ
- Competition Session: https://youtu.be/xgt7FKfpF2Q
- Tutorial&Guide Session: https://youtu.be/9Y5TunPY-xg

Posted by uniqueone
,

https://www.myheritage.com/deep-nostalgia
MyHeritage 라는 독일 회사에서 개발한 Deep Nostalgia 라는 엔진이라고 합니다
오래된 흑백 사진을 애니매이션화 해준다고 해서 예전에 뽑아본 blind face restoration 결과를 입력으로 넣어봤는데요.
완벽해 보이지는 않지만 흥미로운 결과들이 나오네요 :)

Posted by uniqueone
,

[ TF Everywhere 행사 영상 및 메이킹 영상 공유]
안녕하세요! 어제 날짜로 TF Everywhere 텐플마을에 오신것을 환영합니다 행사가 성공적으로 마무리 되었습니다. 와-아! 게더타운부터 유튜브 스트리밍까지 700🔥이 넘는 뷰를 달성하며 많은 분들께서 관심을 가져주셨는데요. 👾게더 타운에서 사과찾기, 9와 3/4 공간 찾기👾등 팝업이벤트도 너무 빠르게 성공 해주셔서 역시 개발자 컨퍼런스 답다~ 싶게 열정이 뿜뿜!! 저도 많이 배워간 행사였습니다.
(본론) 유튜브 스트리밍으로 각 세션을 참관하셨지만 안타깝게 게더 타운 티켓을 겟하지 못하신 분들을 위해! 이 행사에 대해 짤막하게 메이킹 영상을 만들어보았습니다! 더불어 병렬적으로 진행된 네가지 세션에 대한 업로드 영상도 함께 공유하니 현장에서 멀티 세션을 모두 보지 못해 아쉬웠던 분들 역시 보시면 좋을 것 같네요 :)

모든 스피커분들 감사드리고, 행사에 큰 도움 주신 권순선, 김나연 님 너무 감사드립니다! 좋은 주말 되세요!

- Beginner Session: https://youtu.be/2QxfO_md9N4
- Developer Session: https://youtu.be/Xe_gFoVTwcQ
- Competition Session: https://youtu.be/xgt7FKfpF2Q
- Tutorial&Guide Session: https://youtu.be/9Y5TunPY-xg

Posted by uniqueone
,

안녕하세요!
카사바 잎 질병 분류 대회(Cassava Leaf Disease Classification Competition)가 끝나고 개인적으로 코드 정리하고 있는데 같이 공유하면 좋을 것 같아 영상을 제작하고 있습니다.
(Pytorch로 작성하고 있지만 도움이 되는 부분들이 있을 것 같아 염치불구하고 공유드립니다.ㅎㅎ)

영상에서는 학습(Training) 파이프라인과 추론(Inference)에 대한 내용을 주로 다룹니다. 비어있는 코드를 처음부터 하나하나 채워가는 형식으로 만들고 있어서 공부하고 싶으신 분들에게 도움이 되지 않을까 합니다! (고수 분들은 재미가 없으실 겁니다.ㅎㅎ)
파이프라인 작성이 끝나면, 최근에 핫한 Vision Transformer (ViT) 사용법과 대회에서 공유된 상위권 솔루션들도 가볍게 이야기를 해볼까 하는데, 관심 있으신 분들에게 도움이 되길 바랍니다!
Intro
https://www.youtube.com/watch?v=7wdqASYZBls&t=5s
개요 및 데이터 설명
https://www.youtube.com/watch?v=pWhA7V0L1SE
데이터 로드 및 기본 설정
https://www.youtube.com/watch?v=wp3cUKEM5Xk&t=1065s
Cross-Validation (CV) Split
https://www.youtube.com/watch?v=pWhA7V0L1SE
이후 추가 예정!
p.s. 영상 제작이 처음이라 부족한 점이 많네요. orz

Posted by uniqueone
,

안녕하세요, Cognex Research Engineer 이호성입니다.

요즘 컴퓨터 비전계를 뜨겁게 달구고 있는 모델이 있습니다. 바로 자연어 처리에서 이제는 대세로 자리잡은 Transformer 입니다. 지금까지는 거의 모든 모델이 Convolutional Neural Network 기반의 Architecture가 주를 이뤘는데 작년부터 점점 성능 격차가 줄어들기 시작하면서 빠르게 성장하고 있어서 최근 저도 Transformer 기반 연구들을 공부하고 있는데요,

보통 낯선 분야에 대해 공부를 할때 저는 잘 정리가 된 Survey Paper를 하나 잡아서 진득하게 파는 편입니다. 운 좋게도 올해 1월에 "Transformers in Vision: A Survey"라는 제목의 Survey 논문이 공개되어서 이를 읽고 차근 차근 정리해보았습니다.

논문 링크: https://arxiv.org/abs/2101.01169
블로그 글: https://hoya012.github.io/blog/Vision-Transformer-1/

논문 자체의 분량이 많아서 한편에 정리하려다 여러 편으로 나누게 되었으며, 이번 편에서는 Transformer에 대해 간략하게 정리하고, CNN과 대비해서 어떠한 장,단점을 갖는지 살펴본 뒤, Image Classification에 Self-Attention과 Transformer가 적용된 주요 연구들을 정리했습니다. 공부하시는데 도움이 되었으면 좋겠습니다.

P. S. 이번 글을 작성하면서 공부하는데 PR-12 스터디의 발표 영상들이 큰 도움이 되었는데요, 현재 PR-12 스터디 신규 인원 모집 중이니 많은 관심 부탁드립니다!

Posted by uniqueone
,

Poor smartphone photo scans are really annoying and these researchers finally figured out how to fix the quality! (Checkout code implementation inside link)
https://www.catalyzex.com/paper/arxiv:2102.06120

👇 Free extension to get code for ML papers (❤️' by Andrew Ng) Chrome: https://chrome.google.com/webstore/detail/find-code-for-research-pa/aikkeehnlfpamidigaffhfmgbkdeheil
Firefox: https://addons.mozilla.org/en-US/firefox/addon/code-finder-catalyzex

Posted by uniqueone
,

 

안녕하세요 TensorFlow KR 여러분! Style Transfer 분야의 핵심이 되는 두 논문을 소개하는 영상을 만들어 공유합니다. 논문이나 코드 관련 질문은 이 페북 댓글로 남겨주시면 답변 드리겠습니다!

Style Transfer를 설명하는 영상들은 이미 많이 있지만, 하나의 영상 안에 내용부터 전체 코드까지 짜임새있게 정리된 영상은 많이 없는 것 같아서 만들어 보았습니다.

본 영상은 ① 논문 핵심 요약(PPT) ② Google Colab에서 바로 실행해 볼 수 있는 PyTorch 코드 ③ 원본 논문 리딩을 모두 포함합니다.

이 두 논문에 대한 영상은 각각 1시간가량으로 꽤 길지만, 꼼꼼히 공부해보고 싶은 분들께 도움이 될 것 같아 만들어 공유합니다.

1. Image Style Transfer Using Convolutional Neural Networks (CVPR 2016)

https://www.youtube.com/watch?v=va3e2c4uKJk

초창기 방법을 제안한 논문입니다. Style Transfer 결과 이미지의 퀄리티가 우수하지만, 속도가 오래 걸린다는 단점이 있습니다.

2. Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization (ICCV 2017)

https://www.youtube.com/watch?v=OM-6zYYRYfg

Style Transfer의 속도를 향상시키는 아키텍처를 제안한 논문입니다.더불어 임의의 스타일 이미지로부터 스타일 정보를 가져와 반영할 수 있습니다.


전체 PPT 자료 및 소스코드: https://github.com/.../Deep-Learning-Paper-Review-and...

Posted by uniqueone
,

[AP & mAP 내용 정리]
분류기의 성능 평가를 위한 지난 포스팅(정밀도(Precision)와 재현율(Recall) 내용 정리)에 이어 이번엔 객체 검출기의 성능 평가를 위한 AP와 mAP에 대한 내용을 정리해보았습니다.
https://pacientes.github.io/posts/2021/02/ml_ap_map/

Posted by uniqueone
,

ML 고수분들께 질문드립니다!
딥러닝 공부를 해오면서 요즘 더욱 더 기본기의 중요성을 느끼고 있는데 기본기를 직접 구현을 통해 복습해보려고 하는데 직접 구현해볼만한 내용들이 어떤게 있을까요??? ML 기본기를 탄탄하게 하기 위해 직접 구현해보면서 복습해보려고 합니다!! 많이 추천 부탁드릴게요!!ㅎㅎ

자신의 주위에서 흥미로운 문제를 찾아보세요. 우리나라 각 기관에서 공개한 데이터도 많습니다.
이 단계, problem finding이 제일 중요합니다. 기술이나 도구는 보편화됩니다. 갈수록.
예를 들자면 hwp, word, LaTex..등 도구를 몰라서 좋은 글을 못쓰는 것이 아니거든요.
다른 사람의 (코드,데이터) 깃헙에서 내려받아 백날 돌려봐도 큰 도움이 안됩니다.
아주 작은 데이터라도, 본인이 진짜 궁금해하는 문제부터 시작해보세요. 그래야 모형평가도
가능하고 새로운 모형으로 개선할 수 있습니다. ML에서 general solution은 없거든요.
그런 "통일장 이론"이 목표이긴 하지만, 크게보면 결국은 NP 공간의 local에 빠질 수 밖에 없죠.
요약: 내가 잘 알고있는 "나와바리"에서 일단 시작하자.

Posted by uniqueone
,

Self-Supervised 계열의 paper를 정리하려는 목적으로 만든 repository에 꾸준히 스타가 생기고 있어서 기분이 좋아 정리를 할 겸 그림을 그려보았습니다.

혹시나, Self-Supervised 계열의 방법론에 관심이 있으셨던 분들은 참고해주시면 좋을 듯 하네요.

확실히 최근들어서는 contrastive learning 계열의 방법들이 주를 이루며 달려가고 있는 것 같습니다.

+ 최근에는 negative sample에 대한 비판적인 시각과 함께 positive sample 만을 활용하는 방법론들이 각광받고 있는 것 같습니다. 또 6개월 후의 모습은 어떠할지 벌써 기대가 되는군요.

+ Dense 라고 표기해놓은 방법들은 pixel-level 로 contrastive learning을 접근하였습니다. 최근에 흥미가 많이 가는 분야입니다. 영상의 제일 기본적인 가정인 '인접 픽셀은 유사한 성격을 지닐 것이다.' 를 잘 살리지 않았나 하는 생각이 드네요.

+ 레포는 꾸준히 업데이트를 하려고 노력하고 있습니다.

+ GPU로 몰아붙이는 학습의 새로운 매커니즘이 생길까봐 무섭지만, 늘 그렇듯 어디선가에서는 효율적인 학습의 패러다임을 제시하는 방법이 등장할 것이라 믿습니다 (SimCLR --> MoCO, ViT-->DeiT). 언뜻보니 구글과 페이스북의 구도인가요..? ㅎㅎ

레포 : https://github.com/Sungman-Cho/Awesome-Self-Supervised-Papers

Posted by uniqueone
,

안녕하세요 딥러닝 논문읽기 모임 입니다!

오늘 소개해 드릴 논문은 현재 많은 Image classification 분야에서 SOTA를 달성했던 논문인 Sharpness-Aware Minimization for
Efficiently Improving Generalization 이라는 논문입니다.
오늘 논문 리뷰는 펀디멘탈팀의 이재윤님께서 진행해 주셨습니다.

발표자료 :https://www.slideshare.net/taeseonryu/sharpnessaware-minimization-for-efficiently-improving-generalization
발표된 논문 리스트 : https://github.com/Lilcob/-DL_PaperReadingMeeting

overparameterized 된 모델에서 training loss는 모델의 generalization 대한 보장을 하지 않고 있는게 현실 입니다.
실제로 일반적으로 수행되는 것처럼 training loss만 최적화하면 suboptimal 모델 quality로 이어집니다.
논문에서 소개하는 Sharpness-Aware Minimization (SAM)은 다양한 global minima 중에, 제너럴한 성능을 나타내는 글로벌 미니마를 찾아 성능향상에 기여를 하여 여러 태스크에서 기존의 모델링 방법에 SAM 방법론을 적용하여 다양한 분야에서 SOTA를 달성하였습니다.

https://youtu.be/iC3Y85W5tmM

Posted by uniqueone
,

"RepVGG: Making VGG-style ConvNets Great Again" 논문 소개

안녕하세요, Cognex 이호성입니다. 재미있는 논문이 3일전에 공개되어서 소개드립니다.
딥러닝을 이용한 Computer Vision을 처음 공부하면 대표적인 architecture들 부터 배우게 됩니다. 보통 LeNet, AlexNet을 거쳐서 VGG로 넘어가죠? VGG는 다들 한번쯤은 들어보셨을겁니다.
CNN architecture의 발전 과정은 제가 외부에서 발표했던 자료를 참고하시면 도움이 되실 것 같아서 먼저 소개드립니다.
- CNN architecture 톺아보기: https://www.slideshare.net/HoseongLee6/cnn-architecture-a-to-z

CNN architecture는 ResNet의 대 유행을 지나 AutoML을 이용한 Neural Architecture Search(NAS) 계열의 EfficientNet, RegNet이 좋은 성능을 내고 있었는데 갑자기 예전의 추억을 떠오르게 하는 VGG 연구가 제안되었습니다.
논문 링크: https://arxiv.org/abs/2101.03697v1

아이디어는 단순합니다. 그림과 같이 VGG에 기존 ResNet (그림 A)에서 사용하던 residual branch를 추가하여 Single-path에서 Multi-branch로 VGG를 학습시키게 됩니다. (그림 B)
정확도가 높아지면 대체로 연산 처리 속도는 느려지기 마련인데, 저자들은 딥러닝 연산에 사용되는 NVIDIA cuDNN, Intel MKL 등의 library가 3x3 conv에 굉장히 최적화되어있다는 점에 주목하여 그림 C와 같이 3x3 연산만 거쳐서 inference를 합니다.
여기서 발생하는 Train - Test 의 모델의 불일치를 완화시키기 위해 structural re-parameterization 이라는 기법을 적용합니다. 자세한 내용은 첨부드린 그림과 논문을 참고하시면 좋을 것 같습니다.
실험 결과 ResNet 계열보다 더 적은 Parameter 수로 더 높은 정확도와 더 빠른 처리속도를 달성할 수 있었고, SOTA 방법론인 EfficientNet, RegNet과도 견줄만한 accuracy-speed trade-off 그래프를 얻을 수 있었다고 합니다.
7년전 제안된 VGG가 2021년에 다시 나타날 줄은 상상도 못했는데 정말 세상엔 재미있는 연구들이 많은 것 같네요! 읽어주셔서 감사합니다.

Posted by uniqueone
,

Deep Learning in Life Sciences
by Massachusetts Institute of Technology (MIT)

Course Site: https://mit6874.github.io/

Lecture Videos: https://youtube.com/playlist?list=PLypiXJdtIca5ElZMWHl4HMeyle2AzUgVB

We will explore both conventional and deep learning approaches to key problems in the life sciences, comparing and contrasting their power and limits. Our aim is to enable you to evaluate a wide variety of solutions to key problems you will face in this rapidly developing field, and enable you to execute on new enabling solutions that can have large impact.
As part of the subject you will become an expert in using modern cloud resources to implement your solutions to challenging problems, first in problem sets that span a carefully chosen set of tasks, and then in an independent project.
You will be programming using Python 3 and TensorFlow 2 in Jupyter Notebooks on the Google Cloud, a nod to the importance of carefully documenting your work so it can be precisely reproduced by others.

#artificialintelligence #deeplearning #tensorflow #python #biology #lifescience

Posted by uniqueone
,

Cheat sheet for python Neural network Machine Learning Data Science for newbies ALL PDF.https://bit.ly/394jjDH

Posted by uniqueone
,

https://youtu.be/MMQjmeTmoxQ 

최재식 교수님께서 설명가능한 AI(딥러닝)에 관한 여러 모델을 알기 쉽게 말씀해 주셨습니다.


Posted by uniqueone
,

Made With ML Topics

A collection of the best ML tutorials, toolkits and research organized by topic: https://madewithml.com/topics/

H / T : Goku Mohandas

#DeepLearning #MachineLearning #Tutorials

Posted by uniqueone
,

Multi-View Brain HyperConnectome AutoEncoder For Brain State Classification

Banka et al.: https://arxiv.org/abs/2009.11553

#DeepLearning #HyperConnectome #AutoEncoder

Posted by uniqueone
,

풀스택 딥러닝

[https://course.fullstackdeeplearning.com/](https://course.fullstackdeeplearning.com/?fbclid=IwAR0tUATP_PY5_xNXnQv4s0D3xaozZvuHxqrjCY2r37Em6bj4i8ATqf7C8uQ)

예전에 어떤분이 텐플코에 공유해주셔서 꼭 한번 봐야겠다 생각해서 3주정도 천천히 보면서 내용을 정리해서 포스팅해봤습니다! 유명한 게스트 강사들의 강연도 합치면 10시간치 영상은 더 있는 것 같지만 그건 내용 정리에 대한 부담없이 편하게 보려고 합니다.

머신러닝을 배우다보면 모델 학습과 아키텍처에 치중되게 되는데, 상대적으로 부족한 프로덕션에서 필요한 머신러닝 팀과 프로젝트 관리, 데이터 파이프라인 관리, 모델 배포 등에 대해서 잘 정리된 강의입니다.

제가 잘 몰라서 들으면서 잘 몰라가지고 ?? 쳐놓으며 써놓은 부분도 있는데 ㅠ 그런 부분들 댓글로 알려주시면 감사하겠습니다.

1. Setting up Machine Learning Projects [https://medium.com/@heegyukim/full-stack-deep-learning-setting-up-machine-learning-projects-32681ccac007](https://medium.com/@heegyukim/full-stack-deep-learning-setting-up-machine-learning-projects-32681ccac007?fbclid=IwAR0tUATP_PY5_xNXnQv4s0D3xaozZvuHxqrjCY2r37Em6bj4i8ATqf7C8uQ)

2. Infrastructure and Tooling

[https://medium.com/@heegyukim/full-stack-deep-learning-infrastructure-and-tooling-e0cd33af7a9e](https://medium.com/@heegyukim/full-stack-deep-learning-infrastructure-and-tooling-e0cd33af7a9e?fbclid=IwAR0tUATP_PY5_xNXnQv4s0D3xaozZvuHxqrjCY2r37Em6bj4i8ATqf7C8uQ)

3. Data Management

[https://medium.com/@heegyukim/full-stack-deep-learning-data-management-7ee8ca43aac7](https://medium.com/@heegyukim/full-stack-deep-learning-data-management-7ee8ca43aac7?fbclid=IwAR0tUATP_PY5_xNXnQv4s0D3xaozZvuHxqrjCY2r37Em6bj4i8ATqf7C8uQ)

4. Machine Learning Teams

[https://medium.com/@heegyukim/full-stack-deep-learning-machine-learning-teams-8aaa2e22b5ca](https://medium.com/@heegyukim/full-stack-deep-learning-machine-learning-teams-8aaa2e22b5ca?fbclid=IwAR0tUATP_PY5_xNXnQv4s0D3xaozZvuHxqrjCY2r37Em6bj4i8ATqf7C8uQ)

5. Training and Debugging

[https://medium.com/@heegyukim/full-stack-deep-learning-training-and-debugging-1c0f1d587e66](https://medium.com/@heegyukim/full-stack-deep-learning-training-and-debugging-1c0f1d587e66?fbclid=IwAR0tUATP_PY5_xNXnQv4s0D3xaozZvuHxqrjCY2r37Em6bj4i8ATqf7C8uQ)

6. Testing and Deployment

[https://medium.com/@heegyukim/full-stack-deep-learning-testing-and-deployment-d98568424a8a](https://medium.com/@heegyukim/full-stack-deep-learning-testing-and-deployment-d98568424a8a?fbclid=IwAR0tUATP_PY5_xNXnQv4s0D3xaozZvuHxqrjCY2r37Em6bj4i8ATqf7C8uQ)

Posted by uniqueone
,

안녕하세요. 모두연 여러분.
얼마전에 열렸던 AI Grand Challenge 4차 대회의 경량화 트랙에서 사용했던 구현체를 공개합니다 (최종결과 우승, 팀 제이마플).
https://github.com/j-marple-dev/model_compression
저장소의 내용은 크게 Pruning / Knowledge Distillation / Quantization으로 구성되어 있으며, 그 외에도 경량화 단계에서 성능을 유지하는데 도움이 되는 학습방법들이 포함되어 었습니다.
더불어 초심자 단계에서부터 대회 참가까지 2달여 간의 준비과정 및 참고자료를 슬라이드로 제작해 보았습니다. 부디 누군가에게 도움이 된다면 좋겠습니다.
https://www.slideshare.net/KimJunghoon5/2020-dld-238284732
참고로 위 슬라이드의 내용은 AI:Festival(http://aifestival.hellodd.com/) 발표로도 소개될 예정입니다 (9월 2일). 추후 발표영상도 공유드리도록 하겠습니다.
------------------------------------------------------
내용
Network Architecture
MixNet
Fast DenseNet
Augmentation
AutoAugment
RandAugment
CutMix
CutOut
Loss
Cross Entropy Loss + Label Smoothing
Hinton Loss
LR Scheduler
Cosine Annealing + Initial Warmup
Unstructured Pruning
Lottery Ticket Hypothesis
Weight Rewinding
Learning Rate Rewinding
Structured Pruning
Magnitude Pruning
Network Slimming
Magnitude Pruning + Slimming
Channel-Wise Pruned Model Shrinker (Experimental)
Quantization
Post Training Quantization
Quantization Aware Training

Posted by uniqueone
,


Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose 이번에 ECCV2020에 붙은 제 논문입니다.
in-the-wild image에서 3D human pose and mesh를 recover할 때 사용되는 3D 학습 데이터는 보통 controlled environment (ex. 실내 스튜디오)에서 얻어지는데, 이 때 in-the-wild 데이터와 controlled environments 데이터의 image appearance 차이로 인한 domain gap 문제를 해결하고자 하는 논문입니다.
관심있으신 분은 youtube 영상 시청해주세요!
youtube: https://www.youtube.com/watch?v=utaHeByNauc&t=12s
github: https://github.com/hongsukchoi/Pose2Mesh_RELEASE
arxiv: https://arxiv.org/abs/2008.09047


Posted by uniqueone
,

간단히 바로 가져다 쓸 수 있는 easyOCR API 소개 드립니다.

강원도 놀러갈 때마다 보이는 간판인데, 신나기 시작하는 "인제 - 신남" 간판 한번 테스트 해보았습니다.

아래 처럼 POST로 바로 호출할 수 있습니다.

curl -X POST "https://master-easy-ocr-wook-2.endpoint.ainize.ai/word_extraction" -H "accept: images/*" -H "Content-Type: multipart/form-data" -F "language=ko" -F "base_image=@인제신남.jpg;type=image/jpeg"

github: https://github.com/JaidedAI/EasyOCR

demo:

https://master-easy-ocr-wook-2.endpoint.ainize.ai/

[https://github.com/Wook-2/EasyOCR](https://github.com/Wook-2/EasyOCR)

Posted by uniqueone
,

SNU AI (구 SNU TF) 스터디 모임 7기에서 매주 발표되는 논문리뷰 자료들을 정리하여 TF Korea 분들께 카드뉴스형식으로 정리한 SNACK U AI Week 마지막주차!🧑🏽‍💻👩🏾‍💻를 공유드립니다!
마지막까지 SNU AI 성격답게 병리학부터 게임이론까지! 다양한 논문이 나왔네요!
다들 월요팅하시고 월요일 맞이로 논문 읽기도, 쓰기도 하는 SNU AI 8기 신청은 어떠신가요~? 🤷‍♀️🤷‍♀️ (온라인 예정이지만, 코로나 진행상황에 따라 차 후 온/오프 병행예정입니다 :) )
* 신청 링크: https://www.facebook.com/groups/TensorFlowKR/permalink/1276550572685998
Week 10 part 1(안재만): Hidden Technical Debt in Machine Learning Systems
https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf
Week 10 part 2(이홍석): HoVer-Net
https://arxiv.org/abs/1812.06499
Week 11 part 1(정욱재) : DynaBERT: Dynamic BERT with Adaptive Width and Depth
Week 11 part 2(Seo Taek Kong): Regret Minimization in Games with Incomplete Information
https://papers.nips.cc/paper/3306-regret-minimization-in-games-with-incomplete-information
Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions
http://papers.neurips.cc/paper/8764-optimistic-regret-minimization-for-extensive-form-games-via-dilated-distance-generating-functions
자세한 자료는 7기 발표자료를 모아둔https://drive.google.com/drive/folders/0B8z5oUpB2DysbFNEOWxfVDh5VW8에서 확인하실 수 있습니다!
Instagram: instagram.com/snu_ai_official

Posted by uniqueone
,

안녕하세요. 새로 운영진에 합류하게 된, 그리고 비엔나에서 로봇 비전 연구하는 박기루 입니다. 운영진이 되고나서.. 첫글로 제 논문 홍보를 하기는 좀 그래서 방금 끝난 ECCV 워크샵 중 가장 로봇과 가까운 분야 중 하나라고 할 수 있는 Recovering 6D Object Pose 워크샵에서 열린 BOP Challenge소식도 함께 준비해 보았습니다.

저의 연구주제인 Object Pose estimation관련해서 SOTA방법론들과 전통방법의 대표인 PPF(Point Pair Feature)가 경쟁하는 BOP challenge가 작년에 이어서 Recovering 6D Object Pose workshop (http://cmp.felk.cvut.cz/sixd/workshop_2020/) 과 함께 열렸는데요, 작년에 비해 훨씬 뜨거웠던 경쟁 끝에 드디어 2회 우승에 빛나는 PPF를 물리치고 CosyPose라는 방법이 1등을 차지하였습니다. 이번 ECCV에서 발표 예정인 이 방법은 엄청 Extreme한 Data augmentation을 적용한게 매우 인상깊은 방법이었습니다. RGB이미지만 이용하다보니 Depth이미지를 이용한 ICP(Iterative Closest Point)를 사용하지 않았다면 또 다시 PPF에 1등 자리를 내주는 상황이었는데 ICP덕에 1등을 하게 되었네요. (저자가 ICP는 제 Pix2Pose코드를 사용하였다는..깨알 자랑) RGB만 가지고 얻은 결과도 정말 박수가 나올만큼 경이로운 기록을 세우긴 하였습니다. 이제 CNN을 이용한 Pose Estimation연구도 점점 정형화가 되고 자리가 잡아가는 느낌을 받고, 더 좋은 트레이닝을 위한 렌더링 방법들도 좋아지고 있는 것 같습니다. 아쉽게도 이제는 퇴물(?)인.. 저의 Pix2Pose는 4위에 그쳤고.. 작년 부터 유지해오던 YCB-V 데이터 1위자리도 결국 내어주고 말았습니다. 1년 사이에 새로나온 논문들의 성능향상이 너무 눈부셔서 놀라움의 연속이었습니다.

아무튼 더 본론으로 들어가서, BOP Challenge에 사용 된 데이터셋들은 모두 3D 모델을 제공과 더불어 모델에 Texture까지 깔끔하게 입혀져 있어서 렌더링에 사용이 되고, 몇몇 데이터셋은 수천장의 Real image에 Pose를 일일이 체크해서 학습용으로 제공을 합니다. 하지만, dataset에 있는 물체가 아닌 내 책상에 올려져 있는 실제 물건들의 Pose를 측정하려면 어떻게 해야할까요? 모델에 Texture도 없고.. 수백, 수천장의 이미지에 Pose를 annotation할 시간도, 인력도 없다면? 바로 이런 상황에서 CNN들을 학습 시킬 수 있는 이미지를 만들어내는 연구를 이번 ECCV에서 Spotlight로 발표하게 되었습니다. ECCV 참석 중인 분들은 월요일(8월 24일) 오전 6시(한국 오후2시), 2시 (한국 오후10시) Live Q&A Session으로 초대드립니다. 최첨단(?) 크로마키 효과가 들어간 10분발표도 많이 시청해주시고요. ECCV참석과는 별개로 비슷한 연구 주제를 하고 계시거나 자세한 설명, 토론이 필요하시면 메신저로 연락주시고 즐겁게 이야기 나누면 좋을 것 같아요!

논문:https://arxiv.org/abs/2005.03717

코드:https://github.com/kirumang/NOL

Dataset:https://www.acin.tuwien.ac.at/en/vision-for-robotics/software-tools/smot/

ECCV paper site link (등록 하신 분만 보실 수 있는 링크): https://papers.eccv2020.eu/paper/2636/

Video: https://www.youtube.com/watch?v=fQJPS01cmac&t=9s

유럽, 한국 모두 코로나가 다시 심해지고 있는 이시기,

모두 건강하시고, 즐거운 ECCV 되시길 바랍니다!

Posted by uniqueone
,

캐글 첫 4x 그랜드마스터인 Abhishek Thakur가 머신러닝 딥러닝 코스를 기획중인것 같습니다

상당히 다양한 주제를 커버할 것으로 보이는데요, 첨부파일이 코스 드래프트를 보여줍니다. 신청 양식은 아래 링크에 있구요 :)

https://docs.google.com/forms/d/e/1FAIpQLSfzU_W7KjzATgCtFMajCnUGO4XwsxBqebRgv1VeRGYwGUAsHw/viewform

Posted by uniqueone
,

Made With ML Topics
A collection of the best ML tutorials, toolkits and research organized by topic: https://madewithml.com/topics/
#DeepLearning #MachineLearning #Tutorials

Posted by uniqueone
,

Image Augmentation Is All You Need: Regularizing Deep Reinforcement Learning from Pixels
Kostrikov et al.: https://arxiv.org/abs/2004.13649
Code: https://github.com/denisyarats/drq
Website: https://sites.google.com/view/data-regularized-q
#DeepLearning #MachineLearning #ReinforcementLearning

Posted by uniqueone
,

EDA를 쉽게 해볼 수 있는 좋은 파이썬 라이브러리가 있습니다.

sweetviz
pandas-profiling

html 보고서도 만들어주고 그동안 고생하면서 한 것 생각하면 참 쉽고 좋아졌습니다.

모두 그 느낌을 받아보시길...

Posted by uniqueone
,

[Github/Repo] Pytorch Metric Learning

딥러닝 모델을 훈련 시킨다는 것은 '어떤 Loss를 어떻게 줄일것이냐' 입니다. 물론 Loss를 줄인다고 그 모델이 좋은 모델일거란 보장은 없지만요.

그리고 이 loss를 유사도, 즉 원본과의 차이를 측정하여 모델을 훈련시키는 방법이 metric learning입니다. 원본과 얼마나 유사한지 distance(loss)를 측정하는 방식은 다양합니다.

그런 다양한 방법을 Pytorch에서 사용할 수 있게 만들어둔 레포가 있어 공유합니다. triplet loss를 제외하고는 다들 저에게 생소하네요. 여기 있는 내용을 공부하며 metric에 대해 좀 더 고민해봐야겠습니다.

https://github.com/KevinMusgrave/pytorch-metric-learning

Posted by uniqueone
,

Latest from Purdue and Chicago researchers: Low-Power Object Counting!
For project and code/API/dataset requests: https://www.catalyzex.com/paper/arxiv:2007.01369
By using a few small DNNs to process each image, this method reduces the memory requirement, inference time, energy consumption, and number of operations with negligible accuracy loss when compared with the existing object counters.

Posted by uniqueone
,


https://www.facebook.com/groups/KerasKorea/permalink/3716139575068647/

이상훈

오늘은 논문대신 프로젝트를 하나 짧게 소개드립니다. 회사에서 OCR엔진을 만들기에는 너무 인력이 많이 필요하고 클라우드 OCR를 쓰기엔 제약이 있거나 공짜로 쓰고 싶을때 도움이 될만한 OCR 오

www.facebook.com



오늘은 논문대신 프로젝트를 하나 짧게 소개드립니다.

회사에서 OCR엔진을 만들기에는 너무 인력이 많이 필요하고 클라우드 OCR를 쓰기엔 제약이 있거나 공짜로 쓰고 싶을때 도움이 될만한 OCR 오픈소스입니다. (https://github.com/JaidedAI/EasyOCR)

아쉽게도 TF는 아니고 Pytorch로 되어있지만 딥러닝은 아예 몰라도되고 Python만 학생수준으로 쓸 수 있으면 전혀 상관없습니다.

이제는 많은 모델들이 나와서 상대적으로 인기가 식었지만 예전에 OCR 오픈소스로 항상 거론되던 구글이 후원한 Tesseract보다 더 높은 정확도를 보이고 다양한 언어를 제공합니다. 물론 Tesseract도 최근에는 LSTM을 도입하는 등 다양한 시도를 하고 있습니다.

EasyOCR은 네이버의 CRAFT를 Detection 모델로 사용하고 있고 CRNN을 기반으로 Recognition을 합니다.(Restnet-LSTM-CTC) 그리고 오타보정을 위한 greedy, beamsearch, wordbeamsearch도 옵션으로 제공합니다.

또한, 특이하게도 한국어, 중국어, 태국어 등을 지원하고 프리트레이닝 모델도 같이 제공합니다. 사용법도 매우 간단해서 모델개념을 알 필요 없이 자동으로 다운받아서 수행합니다. 랭귀지 모델도 업데이트를 예고하고 있고 지속적으로 업그레이드 예정이라 OCR을 심플하게 비즈니스에 적용하기에 좋은(특히 무료고 기반지식이 전무해도 되니) 오픈소스로 보입니다.

Posted by uniqueone
,