Be the only one, not the best one

If you haven't seen YOLACT (think YOLO with masks) in action, check out the insane quality of this video of a giraffe. The output is similar to Mask R-CNN, but it's a single shot detector and can achieve real-time FPS! I made a Google Colab tutorial for anyone who wants to try it.

www.immersivelimit.com/tutorials/yolact-with-google-colab

Insanely excited to share an interview today with Abhishek Thakur who is an extremely respected individual in many communities. He is widely known for his Kaggle work and he is the first Kaggle 3x Grandmaster in the world. I am sure you wouldn't want to miss out on this one.
Read the interview here: https://medium.com/@spsayakpaul/an-interview-with-abhishek-thakur-data-scientist-and-kaggle-3x-grandmaster-47605c95ab0.

Did you know that now it is possible to search for datasets just like searching for images in Google? This makes easier than ever the searching of data to train our machine learning methods.

PS: Remember that as a good practice in data science you always have to clean and prepare any dataset before using it!

https://toolbox.google.com/datasetsearch
#datascience
#machinelearning

Slack group for implementing and discussing this paper: https://www.profillic.com/paper/arxiv:1911.08139 "MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets"

Here's your invite link to join the group: https://join.slack.com/t/machinelearningwiki/shared_invite/enQtNTM5NTIwNTk5OTIwLWFmNjY5MjI3YzY4ZjNmMmEwNjk4MDFjMGE2MzE1NTM1ZDBjZTU0YjlhY2Y1ODQyYjQyNWZmODhlNDZmOWU3MGQ

Once you've joined, here's the channel link for this paper: http://machinelearningwiki.slack.com/#marionette

저번에 하나의 퍼셉트론과 커스터마이징된 활성함수로 XOR문제를 풀었던 게시물이 있었습니다,

하지만 활성함수 ReoLU가 ReaLU를 기반으로 제작된 함수였기 때문에 ReLU함수와 동일한 'Dying ReLU' 현상이 나올시 해결방법으로,

2015년 ReLU의 문제점을 극복한 ELU함수를 사용하여 ReaLU와 동일하게 임계값을 적용해보았습니다.

임계값 뒤에 오는 함수도 Leaky ReLU와 비슷한 성향을 가질 수 있도록 커스터마이징이 가능합니다.

아직 공식적으로 출판된 논문도 없고, 비공식적인 함수가 될 수도 있지만, 덕분에 많이 공부되었네요

[https://github.com/Seungup/activate-functions-threshold-version](https://github.com/Seungup/activate-functions-threshold-version)

Slack group for anyone interested in implementing and discussing this paper: https://www.profillic.com/paper/arxiv:1912.03455

"Digital Twin: Acquiring High-Fidelity 3D Avatar from a Single Image"

Here's your invite link to join the group:

https://join.slack.com/t/machinelearningwiki/shared_invite/enQtNTM5NTIwNTk5OTIwLWFmNjY5MjI3YzY4ZjNmMmEwNjk4MDFjMGE2MzE1NTM1ZDBjZTU0YjlhY2Y1ODQyYjQyNWZmODhlNDZmOWU3MGQ

Once you've joined, here's the channel link for this paper: http://machinelearningwiki.slack.com/#digitaltwin

Anyone interested in implementing or discussing this paper: https://www.profillic.com/paper/arxiv:1910.08761

"Component Attention Guided Face Super-Resolution Network: CAGFace"

Here's your invite link to join the group:

https://join.slack.com/t/machinelearningwiki/shared_invite/enQtNTM5NTIwNTk5OTIwLWFmNjY5MjI3YzY4ZjNmMmEwNjk4MDFjMGE2MzE1NTM1ZDBjZTU0YjlhY2Y1ODQyYjQyNWZmODhlNDZmOWU3MGQ

Once you've joined, here's the channel link for this paper:

http://machinelearningwiki.slack.com/#cagface

https://www.facebook.com/ilkoo.ahn/posts/2865622860124058

‎한빛양‎ 님이 게시: TensorFlow KR

2019년 11월 20일

안녕하세요! TFKR 여러분.

한빛양입니다.

한빛미디어에서 여러 AI 기술서들을 출간 했고,

여러분의 도움과 큰 사랑을 받아왔습니다.

감사한 마음을 담아 따끈 따근한 신간과 베스트셀러 증정 이벤트를 준비했습니다.

추첨에 당첨 되신 분 15분께 응모하신 책을 한 권씩 보내 드리겠습니다. (매우 공정한 과정으로 추첨이 진행되며 랜덤으로 추첨 과정을 영상으로 공개할 예정입니다.)

많은 관심과 참여 부탁드립니다! ( _ _ )

[새로나온 책]

1. 출간과 동시에 반응이 뜨거운 책입니다.

✓ 미술관에 GAN 딥러닝 실전 프로젝트: GAN으로 쓰기, 그리기, 게임하기, 작곡하기

➡️ http://www.hanbit.co.kr/store/books/look.php?p_code=B9882286651

2. 머신러닝/딥러닝에 필요한 핵심 수학이 어려우신 분께 추천합니다.

✓ 소문난 명강의 : 김도형의 데이터 사이언스 스쿨(수학 편): 파이썬 라이브러리로 배우는 데이터 과학 필수 수학

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B3111220544

3. 정말 많은 분들이 기다리셨던,

✓ 데이터 전처리 대전: 데이터 분석을 위한 파이썬, SQL, R 실천 기술

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B1543811360

4. 3분 시리즈 3번째 책! 이번엔 파이토치 맛입니다.

✓ 펭귄브로의 3분 딥러닝, 파이토치맛: PyTorch 코드로 맛보는 CNN, GAN, RNN, DQN, Autoencoder, ResNet, Seq2Seq, Adversarial Attack

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B7193109877

5. 그로킹 시리즈 두 번째 책이 나옵니다.

✓ 그로킹 딥러닝: 매닝 출판사의 Grokking Deep Learning 한국어판 출간(11월 말 예정), Andrew Trask 저

[베스트셀러]

1. 밑바닥부터 시작하는 딥러닝: AI 주제 2019 판매 1위(누적 판매 부동의 1위)

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B8475831198

2. 밑바닥부터 시작하는 딥러닝2: 순환 신경망과 자연어 처리를 다루는 밑바닥 딥러닝 2편

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B8950212853

3. 핸즈온 머신러닝: 아마존에서 가장 많이 판매된 AI 기술서

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B9267655530

✪ 이벤트 참여 방법

✔ 게시물을 전체 '공유'+ 읽고 싶은 '책 제목'을 댓글로 남겨 주세요!

✔ 참여기간: 11월 20일(수) ~ 11월22일(금) 오후 6시까지

✔ 당첨자 발표: 11월 25일 (월) 낮 4시 , 게시물로 공지를 올리고 당첨되신 분들께 알려드리겠습니다.

- 도서는 배송지 정보를 11월 27일까지 전달해 주신분들에 한해, 11월 28일에 일괄 배송됩니다.

- TensorFlow_KR에 도서 소개를 할 수 있도록 게시물 등록을 동의 해주신 운영자 분들과 책에 관심을 가져주시는 회원님들께 깊이 감사드립니다.

-----------------------------------------------------------------------------

TensorFlow KR 11월20일 이벤트

#출간기념 및 베스트셀러 이벤트_당첨자 총 15분!

[김은수 , 우준식 , 곽남주 , 이태헌 , 한석균 , WooJun Kim , 유차형 , 김현우 , Lim Gon , 이석곤 , 한원근 , Dami Huh , 김준연 , 김재영 , Jinhoi Kim]

- 다시 한 번 이벤트 참여 너무나 감사드립니다!!

11월 22일 기준 무려 391명이 신청해주셨고요. 공정하게 선정하기 위해서 웹에서 랜덤 추첨기로 열다섯 분을 추첨했으며,

동영상으로 과정을 기록하여래 댓글에 올려두었습니다.

- 당첨자 15명 께서는 아래 폼을 통해서 배송지 정보를 기록하셔서 11월 27일 까지 전달 주신분들에 한해 도서는 11월 28일 일괄 배송됩니다.)

https://forms.gle/26EJpwENakMoqSsB8

고맙습니다!!!

http://www.kyobobook.co.kr/eventRenewal/eventViewByPid.laf?eventPid=38483

• 인공지능/머신러닝/딥러닝
• 파이썬
• 컴퓨터공학/IT에세이
• 프로그래밍 입문
• 마이크로스비스/클라우드
• 데이터분석/R
• 2019 새로운 주제
• 새로나온 책

안녕하세요 캐코!!

데이터 시각화 관련 좋은 글들을 찾아 공유합니다.
개인적으로 machine learning 관련 글을 읽는 가장 좋은 source는 medium의 toward data science 채널이라고 생각합니다.

https://towardsdatascience.com/

하지만 최근에 데이터 시각화에 있어 좋은 글이 많은 source를 찾아 공유합니다. 바로 나이팅게일(nightingale) 채널입니다.

데이터 시각화 관련 글만 집중적으로 올리고 있고, 데이터 시각화에 있어서도 다양한 주제로 글을 올리고 있어 앞으로 많이 참고할 수 있을 것 같습니다.

https://medium.com/nightingale

+ 커뮤니티를 새로 하나 만들어보려고 합니다. 좀 더 편한 느낌으로 다양한 인포그래픽과 데이터시각화 자료를 커뮤니티에 올리고, 정돈된 자료와 AI 부분에 좀 더 초점을 두어 페이지를 관리하고자 합니다.

관심이 있는 분들은 와서 좋은 글들 써주시면 감사하겠습니다. :)

Data Visualization KR : https://web.facebook.com/groups/2542191496047967/

https://www.youtube.com/playlist?list=PLBXuLgInP-5m_vn9ycXHRl7hlsd1huqmS

안녕하세요, Cognex Deep Learning Lab KR(수아랩)의 이호성입니다.

2020년 4월 말 에티오피아에서 열리는 ICLR 2020 학회의 accepted paper 가 공개가 되어서, 제 주요 관심사인 Image Recognition과 관련이 있는 21편의 논문을 빠르게 추려서, 한 편 한 편 읽고 정리를 하여 글로 작성해보았습니다.

https://hoya012.github.io/blog/iclr2020-paper-preview/

최대한 간결하게 작성을 하고 싶었으나, 원활한 설명을 위해 한 줄씩 추가하다 보니 글이 다소 길어졌습니다..!

새해를 맞이해서 최신 논문을 읽고 싶은데 어떤 논문을 읽을지 고민이 되시는 분들 아이쇼핑하고 가세요!

I recently created a classifying model that will predict if a patient has Heart Disease or not. The main metric I was focused on was lowering my false negatives, which conclusively I lowered to 1. Even so, if I were to create an app out of this, I would need to gather more data because the set I was working with is limited. Feel free to check this out and provide me feedback.

https://github.com/DrueStaples08/Heart_Disease/blob/master/Heart_Disease_Classifier.ipynb

#2010_nlp_progress

안녕하세요 여러분 ! 새해 첫 주말은 잘들 보내셨나요? 오늘로 벌써 한 해의 1.6% 가 지나가고 있습니다 🙂 다들 새해를 맞아 한 해 간 지킬 계획들을 많이 세우셨을텐데, 모든 분들의 새해 다짐이 꼭 이루어지길 기원합니다.

오늘은 지난 2010년대에 있었던 자연어 처리의 발전사를 간략하고 밀도 있게 소개한 트윗 글을 여러분께 소개해드리고자 합니다.

Amsterdam 대학에서 전산 언어학 교수를 지내고 있는 Willem Zuidema 교수는 2010년대에 자연어 처리에 있었던 신경망 기반의 발전을 10가지 사건과 그 사건을 구성하는 13개의 논문을 통해 정리해주었습니다.

지난 10년 간 자연어 처리 분야에서 어떠한 발전들이 있었는지 한 번 살펴보실까요?

cf) 각 사건을 설명하는 글들은 이전에 있었던 이론 및 개념을 실제로 '잊어버리자'는 것이 아닌, 당시 학계에 불었던 바람을 표현하고 있습니다. 진지하게 받아들이시기 보다는, 가벼운 마음으로 읽으시길 추천드립니다 🙂

ㅡㅡㅡㅡㅡㅡㅡㅡ

2010년대는 자연어 처리 분야에 있어 파란만장한 10년이었습니다. 저는 이 글을 통해 2010년 이후 있었던 10개의 충격적인 발전과 해당 발전을 이끌었던 13개의 논문에 대해 이야기해보고자 합니다. 해당 발전들을 통해 자연어 처리는 이전과 비교할 수 없을 정도로 성능의 발전을 이룩하였습니다.

Shock 1 (2010): 신경망 네트워크를 기억하시나요? 해당 네트워크는 우리가 생각했던 것보다 자연어 처리에 훨씬 더 효과적이었습니다. Recurrent Neural Networks(RNNs, [1])와 Recursive Neural Networks (RNNs, [2])를 배워봅시다!

[1] Tomáš Mikolov et al.: Recurrent neural network based language model
[2] Richard Socher et al.: Learning Continuous Phrase Representations and Syntactic Parsing with Recursive Neural Networks

Shock 2 (2013): 이제 간단한 Recurrent, Recursive Networks들을 잊어버립시다. 그 대신 Long Short Term Memory(LSTM)를 사용합시다.

[3] Alex Graves: Generating Sequences With Recurrent Neural Networks

Shock 3 (2013): Distributional semantics를 기억하시나요? 좋습니다. 이제 해당 개념들을 다 잊어버리고 Word2Vec을 학습합시다!

[4] T Mikolov et al.: Distributed Representations of Words and Phrases and their Compositionality

Shock 4 (2014): 이제, 통계 기반 기계번역(SMT)에서 사용했던 구 단위 기계번역은 잊어버리고 Seq2Seq에 대해 학습합시다. 아참, LSTM은 기억하고 계신가요? 좋습니다. 이제 LSTM보다 간단한 구조를 지니며, 때때로 더 좋은 성능을 보이기도 하는 GRU도 함께 학습합시다.

[5] Cho Kyunghyun et al.: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

Shock 5 (2014): Seq2Seq을 기억하시나요? 좋습니다. 이제 Seq2Seq과 Attention을 함께 사용하는 방법을 학습합시다.

[6] Dzmitry Bahdanau et al.: Neural Machine Translation by Jointly Learning to Align and Translate

Shock 6 (2014): Deep Learning은 저희 생각보다 더 강력했습니다. End-to-end로 구성된 신경망 모델이 Speech recognition에서 SOTA를 달성했습니다!

[7] Awni Hannun et al. : Deep Speech: Scaling up end-to-end speech recognition

Shock 7 (2015): Symbolic structure의 전통적 이론들도 안전하지는 않았습니다. 2015년 Recursive 신경망이 Logic을 학습하기 시작했습니다 [sort of, 8]; 또한 bi-LSTM 기반의 파서는 Syntactic parsing에서 SOTA를 달성했습니다. [9]

[8] Sam Bowman et al.: Recursive Neural Networks Can Learn Logical Semantics
[9] Eliyahu Kiperwasser et al.: Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations

Shock 8 (2016): 2016년 신경망 기반의 기계번역 시스템이 기계번역 분야에서 선두에 등극했습니다. 같은 해, Google Translate 역시 신경망 기반 기계번역을 사용하기 시작합니다.

[10] R Sennrich et al.: Edinburgh Neural Machine Translation Systems for WMT 16

Shock 9 (2017): LSTM을 기억하고 계신가요? 좋습니다. 이제 "Attention이 우리가 필요한 모든 것"이기 때문에(Attention Is All You Need) LSTM은 전부 잊어버립시다.

[11] Ashish Vaswani et al.: Attention Is All You Need

Shock 10 (2018): Word2Vec을 기억하시나요? 좋습니다. 이제 Word2Vec은 잊고 문맥을 활용한 Word Embedding를 학습합시다. (ELMO [12], BERT [13])

[12] M Peters et al.: Deep contextualized word representations

[13] J. Devlin et al.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

저에게 2010년대는 쉴새 없이 출간되는 논문들을 따라 잡고, 강의 Syllabus를 재조정하고, 폭발적으로 늘어나는 학생들을 관리하느라 정말 힘든 10년이었습니다.

그럼에도 이러한 변화들이 계속해서 일어나는 자연어 처리 분야에 몸을 담고 있는 것은 제게 큰 특권이라고 생각합니다!

ㅡㅡㅡㅡㅡㅡㅡㅡ

저는 개인적으로 어떤 공부를 새로이 시작할 때 최신 기술을 바로 공부하는 것보다 해당 기술의 발전사를 기반으로 학습을 하는 것을 선호하는데, 글을 읽으며 제가 자연어 처리를 처음으로 공부하던 시기에 본 트윗을 만났으면 좋은 이정표로 삼을 수 있었겠다라는 생각을 많이 했습니다 🙂

지난 10년 간 자연어 처리 발전을 이해하는데 여러분께 많은 도움이 되셨기를 바랍니다.

P.S) 본 포스트의 사진은 WarNik Chow님의 슬라이드에서 발췌하였습니다 !

original tweet: https://twitter.com/wzuidema/status/1212727352037429248

최근 여러 국가에서 오마주하고 있는 교육 프로그램 에꼴 42의 수료생인 Emil Wallner라는 ML 리서쳐가 자신이 어떻게 인터넷 자료들만 가지고 ML 리서쳐가 될 수 있었는지에 대해 그 학습 방법을 공유한 글이 있습니다.

Coursera 수료증 같은 것이 아니라 실질적으로 어떠한 Output을 내야 Internet-educated들이 ML/DL 분야에서 직업을 얻을 수 있을지에 대한 현실적인 조언과 함께 유용한 정보가 많이 담긴 글이기에 공유를 드립니다 !
+) Emil Wallner는 현재 Google Arts에서 레지던시 프로그램을 지니고 있습니다.

2020년 ML/DL 분야의 공부를 새로이 시작하시려는 분들께 좋은 이정표가 되리라 믿습니다 🙂

P.S 글을 잘 읽으셨다면 번역이 아닌 원 글(https://github.com/emilwallner/How-to-learn-Deep-Learning)에 스타를 눌러주시면 좋을 것 같습니다 !

https://github.com/Huffon/How-to-learn-Deep-Learning/blob/master/README_kr.md?fbclid=IwAR0COIWxF6BIGUg6abyCcErL-BK8B4ghDpycBNHkR7BSApSD8wz-BJrJnR0

접근법

Deep Learning에 중점을 두고, High-level 프레임 워크부터 학습하는 실용적인 Top-down식 접근법을 취합니다.

시작 [2 개월]

Deep Learning 학습에 박차를 가하기 위해서는 다음 3개의 주 목적을 달성해야 합니다:

1. 앞으로 사용할 도구들에 익숙해져야 합니다. (e.g. 파이썬, CLI, 주피터 노트북 등)
2. 데이터 수집부터 훈련 모델 배포까지 워크 플로우의 모든 과정에 익숙해져야 합니다.
3. Deep Learning 사고 방식을 지녀야 합니다: 어떻게 Deep Learning 모델들이 동작하고, 어떻게 해당 모델들을 개선시킬지와 같은 직감을 길러야 합니다.

• 한 주간 codecademy.com에서 시간을 보내며 파이썬 기본 문법, CLI 그리고 git을 학습합니다. 만약 여러분이 프로그래밍 경험이 없이 시작하셨다면, 어떻게 프로그램을 작성하는지 학습하기 위해 몇 개월을 본 스텝에 투자하는 것이 좋습니다. 그렇지 않으면 여러분은 이후 과정에서 쉽게 좌절하게 될 것입니다.
• Pandas, Scikit-learn 그리고 Jupyter Notebook 을 이용해 Kaggle 문제를 푸는데 1-2주의 시간을 할애합니다. 이때, Titanic, House prices, Iris 문제가 좋은 출발점이 될 수 있습니다. 본 과정을 통해 여러분은 Machine Learning에 대한 사고 방식과 워크 플로우를 익힐 수 있습니다.
• 클라우드 GPU에서 모델을 구현하는데 한 달을 할애합니다. 이 때, FastAI 코스로 본 스텝을 시작하는 것을 추천드립니다. FastAI 커뮤니티는 Deep Learning 기술들을 적용하고 최신 기술과 관련된 정보를 공유하기 좋은 장소입니다.

여러분이 위 과정을 모두 완수하셨다면, 이제 어떻게 머신러닝에 가치를 부여할지에 대해 알게된 것입니다.

포트폴리오 [3 - 12 개월]

포트폴리오는 새로운 기회를 위한 일종의 창구입니다. 그렇기 때문에 여러분이 관심 있는 주제로 포트폴리오를 제작하는 것이 중요합니다. 포트폴리오는 또한 Machine Learning의 여러 다양한 분야를 경험할 수 있는 좋은 기회이기도 합니다. 만약 여러분이 ML 중 어느 분야로 프로젝트를 시작할지 고민 되신다면 '컴퓨터 비전' 혹은 '자연어 처리' 프로젝트로 시작할 것을 추천드립니다. 다음은 포트폴리오와 관련해 작성한 제 트위터 스레드입니다: 포트폴리오 아이디어 내는 법, 포트폴리오 작성하는 법.

사람들이 가장 많이 실수하는 부분은 프로젝트 경험 대신 온라인 코스 수료증을 따는데 불필요한 시간을 투자하는 것입니다. 실무자들은 대개 온라인 코스 수료증을 신뢰하지 않습니다. 대신 저와 같이 인터넷을 통해 Deep Learning을 학습한 사람들은 다음과 같은 이력들로 자신의 지식을 증명할 수 있어야 합니다:

• 좋은 컨퍼런스에 논문 투고
• ML 관련 경진대회에서 수상
• 유명한 오픈 소스 프로젝트에 PR을 통해 기여
• ML 관련된 글로 5-10만 뷰 달성
• 매주 100명 이상이 사용하는 ML 툴 제작
• ML 관련 직업
• ML 아트

만약 아직도 좋은 첫 프로젝트에 대한 감이 잡히지 않는다면, Twitter 내 사람들에게 DM을 날려보세요. 여러분들께 영감을 주는 작업을 하는 사람들을 Twitter에서 찾아 당신이 지금까지 해온 것들과, 무엇을 달성하고 싶은지에 대해 이야기해보세요. 50-100명의 사람들에게 메시지를 보낸 후, 당신은 사람들이 얼마나 다른 사람들에게 도움을 주고 싶어하는지를 보고 놀라게 될 것입니다.

다만 제가 제시한 이전 과정들을 모두 성실하게 수행하고, 낯선 사람들에게 메시지를 보낼 때 지켜야 할 예절 등을 꼭 확인하고 접근하시길 바랍니다.

이론 101 [1 - 3 개월]

논문을 읽는 방법을 배우는 것은 여러분의 프로젝트를 개선하는데 분명 좋은 작용을 합니다. 특히, 여러분이 리서치 분야로 진출하고 싶다면 논문 읽기는 필수 과정이기도 하죠. 논문을 읽는데 어려움이 없으려면 다음 3가지 분야를 핵심적으로 이해하고 있어야 합니다:

1. 가장 자주 사용되는 알고리즘, 경사 하강법, 선형회귀, 다중 퍼셉트론 등에 대한 이해
2. 가장 자주 사용되는 50가지 수식에 대한 이해
3. 선형대수, 미적분, 통계학 그리고 Machine Learning의 기본적인 이해

• 파이썬 Numpy의 핵심 개념을 손으로 직접 코딩하는데 한 달을 할애합니다. 이때 최소자승법, 경사하강법, 선형회귀 그리고 Vanilla 신경망 등에 대한 코딩도 하셔야 합니다. 제겐 Andrew Trask의 책과 블로그가 해당 연습을 하기 가장 적합한 자료였습니다. 해당 연습은 여러분이 다음 과정을 수행함에 따라 발생하는 인지부하를 줄여줄 것입니다.

• 저는 Deep Learning 이론 커리큘럼에 있어 최고의 스텝은 Ian Goodfellow, Yoshua Bengio 그리고 Aaron Courville가 집필한 Deep Learning Book을 읽는 것이라 생각합니다. 저는 해당 책을 교재 삼아 책에 담긴 모든 디테일들을 학습하기 위해 노력했습니다. 물론 해당 책을 읽기 전 최소 6개월의 실무 경험이나 수학/통계적 배경을 가지고 시작하는 것이 좋습니다.

• 책의 도입부에 등장하는 수식을 외우는 것은 여러분의 생각보다 아주 큰 도움이 됩니다. 수식은 아주 잘 짜여진 로직이고, 이를 어떻게 코드로 녹여낼지를 이해하는 것은 여러분이 이론을 보다 친숙하게 느낄 수 있도록 도와줄 것입니다. 만약 한 주라는 여가 시간이 있다면, 3Blue1Brown 채널의 Essence of linear algebra, the Essence of Calculus, StatQuests 채널의 the Basics (of statistics), Machine Learning과 같은 영상을 시청할 것을 추천드립니다. 이후 Anki와 같은 암기 어플리케이션을 활용해 핵심 개념을 외우는 것이 아주 큰 도움이 될 것입니다. 이때, 가능한 많은 그림 자료를 사용하는 것이 암기에 있어 더 큰 도움이 됩니다.

• 만약 여러분이 공부에 할애할 수 있는 시간이 2-3 개월 더 남았다면, Deep learning book의 파트 1을 읽는데 그 시간을 할애하세요. MachineLearningGod은 동영상을 통해 어떻게 해당 책을 보다 잘 학습할 수 있는지에 대해 설명해주고 있습니다. 각종 개념들을 이해하기 위해 동영상 강의를 적극 활용하시고, Anki와 Khan academy 어플리케이션을 활용해 개념들을 암기 및 이해할 수 있도록 노력하세요.

첫 번째 논문 [6 - 12 개월]

[작업 중]

포럼

• FastAI
• Keras Slack
• Distill Slack
• Pytorch
• Twitter

본인이 학습했던 과정에 대한 기록

• 케라스로 모델 구현 (저의 경우 TFlearn으로 시작했지만, Keras로 시작하는 것을 강력히 추천합니다) (당시 저는 TFlearn이 Tensorflow의 공식 Front-end라 착각했습니다. 이제 Tensorflow는 Keras를 공식 Front-end로 지정했습니다)
• 파이썬 핵심 개념들 리코딩
• CNN을 이용한 첫 논문
• LSTM을 이용한 첫 논문
• GAN을 이용한 첫 논문
• RL을 이용한 첫 논문
• 내 트위터

다른 좋은 학습 전략들

• S. Zayd Enam
• Catherine Olsson
• Greg Brockman V2
• Greg Brockman V1
• Andrew Ng
• Amid Fish
• Spinning Up by OpenAI
• Confession as an AI researcher
• YC Threads: One and Two

글을 읽고 더 나은 의견이나 질문이 있으시다면 이슈 혹은 Twitter를 통해 연락해주세요.

Open-source chatbot project from Microsoft!

https://www.profillic.com/paper/arxiv:1912.08904

Macaw: A conversational bot that enables research for tasks such as document retrieval, question answering, recommendation, and structured data exploration

안녕하세요, 마키나락스의 김기현입니다.

연말연시 연휴를 맞이하여 #마키나락스 에서 연구하는 주제 중에 하나인 #이상탐지 (#AnomalyDetection) 에 대해서 블로그 포스팅 해보았습니다.

산업에서의 활용도와 중요도에 비해 이상탐지 문제는 많은 연구와 표준 연구 환경이 잘 정의되어 있지 않은 것 같습니다. -- 당장 이름부터 anomaly detection, outlier detection, novelty detection, out of distribution 등이 혼용되고 있습니다.

이번에는 [이상탐지의 문제 셋업에 대한 소개]와 [오토인코더를 활용한 이상탐지]에 대해서 다루었습니다. 앞으로 틈틈히 시간 날때마다 관련 분야에 대해서 포스팅 하도록 하겠습니다.

1. Introduction to Deep Anomaly Detection:

https://kh-kim.github.io/blog/2019/12/12/Deep-Anomaly-Detection.html

2. Autoencoder based Anomaly Detection:

https://kh-kim.github.io/blog/2019/12/15/Autoencoder-based-anomaly-detection.html

혹시 수정이 필요하거나, 질문이 있으신 분들은 편하게 의견 주셔도 좋습니다!

Deep Learning Models

A collection of various deep learning architectures, models, and tips for TensorFlow and PyTorch in Jupyter Notebooks.

By Sebastian Raschka : https://github.com/rasbt/deeplearning-models

#ArtificialIntelligence #DeepLearning #MachineLearning

NeurIPS 2019 Implementations

Papers with code: https://paperswithcode.com/conference/neurips-2019-12

#ArtificialIntelligence #DeepLearning #NeurIPS2019

This course uses pytorch instead of tensorflow.[
[](https://t.co/lahLZspADM?amp=1)https://www.youtube.com/playlist?list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z](https://www.youtube.com/playlist?list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z)

This is an attempt to modify Dive into Deep Learning, Berkeley STAT 157 (Spring 2019) textbook's code into PyTorch

GitHub, by SDS Data Science Group, IIT Roorkee: https://github.com/dsgiitr/d2l-pytorch

#datascience #deeplearning #pytorch

Animorphing into Mario (thanks stylegan2 lol)

relevant stylegan2 paper: https://www.profillic.com/paper/arxiv:1912.04958

Here's a small set of resources that I would like to share with the group.

1. Jupyter Notebooks (around 20) on pytorch - a set of tutorials: https://github.com/Tessellate-Imaging/Pytorch_Tutorial
Notebooks on
Crucial tensor functions
Data Loaders
Layers, activations, optimizers, initializers and losses
Classification examples and transfer learning

2. OpenSource Transfer learning library Monk: https://github.com/Tessellate-Imaging/monk_v1
Monk features
low-code
unified wrapper over major deep learning framework - keras, pytorch, gluoncv
syntax invariant wrapper
Enables
to create, manage and version control deep learning experiments
to compare experiments across training metrics
to quickly find best hyper-parameters
At present it only supports transfer learning, but we are working each day to incorporate
various object detection and segmentation algorithms
deployment pipelines to cloud and local platforms
acceleration libraries such as TensorRT
preprocessing and post processing libraries

3. Jupyter Notebooks blog series on Monk-Pytorch - Building classification applications: https://medium.com/@monkai.betasignup
American sign language classification
Leaf Disease Classification
Food Classification
Indoor Scene Classification
Fashion Classification

P.S - Inviting computer vision enthusiats to contribute to Monk tool.

Keep Learning!!!

MIT lecture series on deep learning in 2019
MIT lecture series on deep learning:Basics: https://www.youtube.com/watch?v=O5xeyoRL95U&list=PLrAXtmErZgOeiKm4sgNOknGvNjby9efdf
MIT lecture series on deep learning: State of the Art:https://www.youtube.com/watch?v=53YvP6gdD7U&list=PLrAXtmErZgOeiKm4sgNOknGvNjby9efdf
MIT lecture series on deep learning: Introduction to Deep RL: https://www.youtube.com/watch?v=zR11FLZ-O9M&list=PLrAXtmErZgOeiKm4sgNOknGvNjby9efdf

Find The Most Updated and Free Artificial Intelligence, Machine Learning, Data Science, Deep Learning, Mathematics, Python Programming Resources
https://www.marktechpost.com/free-resources/

안녕하세요 ! 매주 금요일 밤마다 따끈따끈하고 재밌는 논문으로 찾아오는..

딥러닝논문읽기모임의 25번째, 2019년 마지막 유튜브 영상이 업로드 되어 공유합니다!!!!!

이번주 논문은 요즘 GAN에 대해 연구가 활발히 이루어 짐에 따라 여러 도메인 분야에서 활용이 되고 있는데요 실제로 활용이 될때는 여러가지 제약사항이 발생하게 됩니다. 그 중 대표적으로 데이터의 부족이 하나의 큰 이슈중 하나 일텐대요,

이러한 문제를 해결하고자 Single natural Image 데이터를 활용해 generative에 성공한 논문인 ‘singan’을 리뷰해 보았습니다!

이미지처리 팀의 고진호님이 친절하고 자세한 설명 진행해 주시고, 모임회원님들과 발표를 완성해 보았습니다!

매주 유익한 논문리뷰가 이어질 예정이니 관심 가져주시면 감사하겠습니다. 링크 ->

[https://youtu.be/pgYIuA4O95E](https://www.youtube.com/watch?v=pgYIuA4O95E)

Introduction to Reinforcement Learning

By DeepMind : https://youtube.com/watch?v=2pWv7GOvuf0&list=PLqYmG7hTraZDM-OYHWgPebj2MfCFzFObQ

#ArtificialIntelligence #DeepLearning #ReinforcementLearning

State of the art in deblurring and generating realistic high-resolution facial images

https://www.profillic.com/paper/arxiv:1912.10427

(An adversarial network comprising a generator and two discriminators is proposed)

안녕하세요! 지난번에 이어 Detectron2에서 custom dataset을 활용하여 object detection 알고리즘을 학습시켜보는 간단한 튜토리얼을 공유합니다[1].
이번에도 AIHub에서 제공하는 보행자 데이터셋[2]을 이용하였습니다. Detectron2 프레임워크 자체가 인터페이스가 너무 잘 되어 있어서 custom dataset을 활용하기 정말 간편합니다.(Detectron2에서 제공하는 cDatasetCatalog에 데이터셋을 간편하게 등록하기만 하면 됩니다. 자세한 내용은 주피터 노트북 튜토리얼을 참고하세요!)
+ AIHub에 오늘 접속해보니 보행자 데이터셋이 추가 업데이트되었네요. bbox annotation가 추가되었고 (구체적인 통계는 아직 모르겠습니다), depth map과 instance segmentation을 위한 polygon annotation이 추가되었습니다. 데이터 퀄리티는 확인해 봐야 알겠지만 (bbox는 확실히 꼼꼼하고 좋았습니다), 시도해볼 것들이 많아졌군요!
다음 시간에는 detectron2를 활용해 다양한 모델을 커스터마이징 하는 방법을 공유하도록 하겠습니다.
오늘도 즐거운 하루 보내세요!
REFERENCES
[1] http://bit.ly/2EGDgQm
[2] http://aihub.or.kr/aidata/136

크리스 마스 선물이 속속 도착 중인데요. 이번은 Tf를 무료로 배울수 있는 10곳의 멋진 사이트를 소개 합니다

TF 2020 gogo!!

https://analyticsindiamag.com/10-free-resources-to-learn-tensorflow-in-2020

GAN that can fix ambient lighting in low-quality flash-lit images!

https://www.profillic.com/paper/arxiv:1912.08813