Be the only one, not the best one

SLAM이 처음이신분들은

SLAM의 수학적 원리 이해도 좋지만

다양한 데이터셋을 받고, 열어보고, 만져보는거부터 출발하셔도

좋을거같아요

그런의미에서 SLAM쪽에서 가장 유명한 KITTI dataset

을 열어보는 노트북이 있어 공유합니다.

Hyper Parameter Tuning을 자동으로 해주는 Keras Tuner에 대한 tutorial을 공유해드립니다

Keras Tuner를 사용하시면 Bayesian Optimization, Hyperband, Random Search algorithm을 이용하여 내가 만든 model의 hyper parameter를 자동으로 tuning할 수 있습니다

사용법도 매우 간단하고 TensorFlow쓰시는 분들은 tf.data와 호환가능합니다

또 ResNet과 Xception이 built-in model로 포함되어 있어서 이 model을 쓰실 분들은 따로 model을 만드시지 않아도 됩니다

multi-GPU에서의 distributed tuning(data parallel과 trial parallel 모두 가능)도 지원합니다

심지어 Scikit-learn으로 작성한 model도 tuning 가능합니다

빨리 저부터 써봐야겠네요!!

자세한 내용은 아래 blog를 참조해주세요!
https://blog.tensorflow.org/2020/01/hyperparameter-tuning-with-keras-tuner.html

Latest from Microsoft researchers: ImageBERT (for image-text joint embedding)

https://www.profillic.com/paper/arxiv:2001.07966

(They achieve new state-of-the-art results on both MSCOCO and Flickr30k datasets.)

안녕하세요 SLAM공부 김기섭입니다.

논문이 너무 많은 시대입니다.

최신 논문 중 뭘 읽어야 할지 따라가기가 늘 힘들었는데

아래 슬라이드들에 논문 리스트업+요약 이 간단하게 잘 되어있네요! (정말 대단하신분!!)

또 모두 2019년도 업로드 자료라 최신 반영이 잘 되어있는거같습니다 (저도 아직 몇개 안봤지만.,,,)

공유합니다

#

# 2019 - SLAM related

Dynamic Mapping in SLAM

- https://www.slideshare.net/yuhuang/dynamic-mapping-in-slam

Semantic SLAM I

- https://www.slideshare.net/yuhuang/semantic-slam

Semantic SLAM II

- https://www.slideshare.net/yuhuang/semantic-slam-ii

Stereo Matching by Deep Learning

- https://www.slideshare.net/yuhuang/stereo-matching-by-deep-learning

Depth Fusion from RGB and Depth Sensors II

- https://www.slideshare.net/yuhuang/depth-fusion-from-rgb-and-depth-sensors-ii

Depth Fusion from RGB and Depth Sensors III

- https://www.slideshare.net/yuhuang/depth-fusion-from-rgb-and-depth-sensors-iii

Depth Fusion from RGB and Depth Sensors IV

- https://www.slideshare.net/yuhuang/depth-fusion-from-rgb-and-depth-sensors-iv

#

# 2019 - Autonomous Driving related

Lidar for Autonomous Driving II (via Deep Learning)

- https://www.slideshare.net/yuhuang/lidar-for-autonomous-driving-ii-via-deep-learning

LiDAR-based Autonomous Driving III (by Deep Learning)

- https://www.slideshare.net/yuhuang/lidarbased-autonomous-driving-iii-by-deep-learning

fusion of Camera and lidar for autonomous driving I

- https://www.slideshare.net/yuhuang/fusion-of-camera-and-lidar-for-autonomous-driving-i

fusion of Camera and lidar for autonomous driving II

- https://www.slideshare.net/yuhuang/fusion-of-camera-and-lidar-for-autonomous-driving-ii-181748995

3-d interpretation from stereo images for autonomous driving

- https://www.slideshare.net/yuhuang/3d-interpretation-from-stereo-images-for-autonomous-driving

3-d interpretation from single 2-d image for autonomous driving II

- 3-d interpretation from stereo images for autonomous driving II

새해덕담 - 인공지능 훈련을 통해 배우는 인생

(누구든 사는 것의 uncertainty와 부족한 자원에 자주 실망한다. 인공지능 훈련을 하면서 이러한 것이 오히려 성공의 요소로 중요하다는 것을 배운다)

서울대 전기정보공학부의 성원용교수입니다. 나는 올해 8월 은퇴를 앞두었습니다만, 지난 몇년간 인공지능 분야를 재미있게 연구했습니다. 주로 효율적인 하드웨어 구현을 위한 단어길이 최적화, 그리고 응용으로는 음성인식입니다.

오늘은 설이기 때문에 젊은 후학들에게 인공지능을 통해 배우는 인생이 무엇인가하는 것을 생각해 보았습니다. 우리가 인공신경망의 훈련에 SGD(Stochastic Gradient Descent)를 많이 쓰는데, 이 훈련이 잘 되려면 네트워크를 loss surface의 소위 flat minima (평평한 최소)로 보내야 합니다. Flat minima는 웨이트의 값이나 data의 분포에 변화가 생겨도 loss가 크게 변하지 않기 때문에 소위 generalization (일반화) 능력과 관련해서 중요한 개념입니다. 나의 경우는 flat minima를 인공신경망 웨이트의 단어길이를 줄이는 목적으로 중요하게 생각합니다.

최근의 인공신경망은 파라미터의 갯수가 많기 때문에 훈련 데이터를 몇 에포크 돌리면 금방 다 외워버립니다. 즉, 트레이닝 로스가 매우 작아집니다. 그런데 빨리 훈련이 되면 flat minima에 가지 못하는 경향이 있습니다. 이를 오버피팅(over-fitting)되었다 하기도 합니다. 그 까닭은 인공신경망이 만드는 loss surface는 non-convex이기 때문입니다. Non-convex는 최소값 지점(minima)이 수없이 많지요. 따라서 적당하지 않은 minima에 빨리 정착해서 훈련 끝났음하면 안 됩니다. 이렇게 적당하지 않은 minima를 sharp minima라 하는데 training loss는 이 점에서 작을지라도 전체적으로 data의 통계적 변화에 취약합니다. 즉 generalization 능력이 떨어집니다.

이렇게 sharp minima를 피하기 위한 대표적인 훈련법이 SGD (stochastic gradient descent)입니다. GD(gradient descent)와 비교할 때 SGD는 크지 않은 mini-batch size (보통 32~512정도)로 loss를 얻어서 웨이트를 업데이트하는데 이 때 그 미니배치에 어떤 데이터가 들어오냐에 따라서 일종의 noise가 생기고 이 것이 SGD를 sharp minima에 빠지지 않게 하는 역할을 한다고 합니다. 또 다른 방법이 L2 weight regularization입니다. 이 경우는 weight 값의 크기에 제약을 두는 것입니다. 이 밖에도 weight 나 gradient에 noise를 injection하는 방법이 있습니다. 그리고 dropout 도 regularization 입니다.

이러한 regularization방법은 크게 두가지 특징을 가지고 있습니다. 첫째로 uncertainty입니다. GD의 경우는 batch size가 엄청커서 평가의 nosie가 적습니다. 그렇지만 SGD는 batch size가 제한되어 있기 때문에 noise가 큽니다. 어떤 때는 잘못된 방향으로 update합니다. 그렇지만 이 것이 sharp minima에서 빠져나오는데 도움을 줍니다. 두번째는 제약(constraint)입니다. L2 norm을 작게한다든가 weight의 값에 noise를 넣습니다. Regualarization을 가하면 training accuracy 100%를 찍기가 엄청 어렵습니다. Training loss가 천천히 줍니다. 말하자면 더 어려운 시험문제, 더 나쁜 상황으로 훈련을 시키는 것에 비유할 수 있습니다.

이 DNN훈련이 삶에 주는 지혜가 있습니다. 성공하기 위해서는 flat minima를 찾아야 합니다. 직업에 있어서 flat minima는 유연성과 확장성이 있어서 발전가능성이 크고 위기에도 견딜 수 있는 것입니다. 그래서 경영학 구루들은 사람들에게 '자신의 편안한 영역(일종의 sharp minima)에 안주하지 말라' 조언합니다. 그리고 flat minima를 찾기 위해서는 uncertainty를 감수해야 합니다. 입학시험부터 입사시험에 이르기까지 합격 불합격이 꼭 실력대로 되는 것은 아닙니다. 그래도 꼭 실력대로 안되는 세상이 모든 것이 성적대로 줄세워서 되는 세상보다는 낫습니다. 단지 세상은 이러한 uncertainty를 가지고 움직인다는 것을 이해해야 합니다. 두번째는 적절한 regularization이 필요합니다. 돈걱정등 모든 걱정이 없으면 좋을 것 같지만, 많은 재벌의 자식들이 마약문제로 언론에 많이 나옵니다. 부모의 후광으로 빨리 출세가 좋은 것이 아닙니다. 오버피팅되는 네트워크를 만드는 것입니다. 적절한 regularization은 오히려 성공에 도움을 줍니다.

누구든 사는 것의 uncertainty와 부족한 자원에 자주 실망합니다. 그렇지만 인공지능 훈련을 하면서 이러한 것이 또한 성공의 요소로 중요함을 덕담으로 남깁니다. 올 한해에도 많은 성과가 있기를 바랍니다.

👨‍🏫 안녕하세요 데이콘에서 코드 공유를 오픈 했습니다.

🎉우승자 코드에서 배움과 🤵자신의 코드로 피드백을 받을 수도 있습니다.

➡️ [http://bit.ly/3av37JQ](http://bit.ly/3av37JQ)

#SIA #ADD #미래도전 #dacon #datavisualization #DataScience #DataAnalyst #DataEngineer #DataScentist #DataMining #MachineLearning #deeplearning #데이콘 #경진대회 #데이터분석 #KB금융 #인공지능 #머신러닝 #딥러닝 #자연어처리 #파이썬 #코드 #공유

Latest from Stanford, Adobe and IIT researchers: State of the art in Virtual Try on!

https://www.profillic.com/paper/arxiv:2001.06265

(An efficient framework for this is composed of 2 stages: (1) warping (transforming) the try-on cloth to align with the pose and shape of the target model, and (2) a texture transfer)

#OpenSyllabus

세계 80개국에서 영어로 작성된 7백만 여개의 Syllabus를 수집해 각 전공별로 어떠한 전공 서적이 수업에 가장 많이 참고되었는지를 기록으로 제공해주는 Open Syllabus 사이트를 소개해드립니다.

요즘에는 학부 때와 다른 전공으로 진로를 정하고자 하시는 분들이 많이 계시지만, 비전공자라는 환경적 제약상 어떠한 서적으로 해당 전공을 심도있게 공부할 수 있는지에 대한 고민을 많이 하게 되는 것 같습니다. 리소스는 넘쳐나지만 그 반대 급부로 선택의 고민이 많아지고 있는 것이죠.

물론 모든 서적을 비교해보며 자신에게 가장 맞는 서적을 기반으로 학습하는 것이 가장 이상적일 수 있겠지만, 현실적인 타협안은 가장 많은 전공자들이 필독하는 바이블과 같은 서적을 시작점으로 학습하는 것일 것입니다. 그리고 Open Syllabus가 해당 선택을 도와줄 수 있는 좋은 지침서가 될 수 있을 것 같습니다.

기계학습과 자연어 처리를 공부하는 저의 경우, Open Syllabus에서 수학, 전산학 그리고 추가적 공부를 한다면 언어학에서 자주 사용되는 교재를 기반으로 학습을 시작해볼 수 있겠네요 !

자연어 처리와 직접적인 관련은 없는 게시물일 수 있지만 여러분의 학습 교재 선택에 있어 도움이 될 수 있는 자료인 것 같아 꼭 공유를 드리고 싶었습니다 😆

P.S 전산학의 1위 레퍼런스 교재가 피터 노빅의 인공지능 서적인 점이 재밌네요 ! 그 외 공룡책(OS), 탑다운 네트워크 서적 등도 높은 순위에 랭크되어 있습니다.

Open Syllabus: https://opensyllabus.org/results-list/fields?size=100

SLAM 백엔드에서 최적화에 쓰이는 factor graph에 대한 short course가 최근에 열렸네요 ㅎ
유튜브 영상 강의와 예제 코드도 제공합니다 ㅎ

영상: https://www.youtube.com/playlist?list=PLOJ3GF0x2_eWtGXfZ5Ne1Jul5L-6Q76Sz
코드: https://github.com/jlblancoc/2020-ual-factor-graphs-course

안녕하세요 박찬준입니다.

최근 AI HUB에서 ([http://www.aihub.or.kr/](http://www.aihub.or.kr/))에서 한-영 병렬 말뭉치를 공개했습니다.

한국어-영어 160만 문장의 번역 말뭉치를 공개했으며 자세한 구축사항은 아래 링크에서 확인하실 수 있습니다.

[http://www.aihub.or.kr/aidata/87](http://www.aihub.or.kr/aidata/87)

솔트룩스, 애버트란, 플리토에서 함께 작업한 것으로 알고 있으며 해당 데이터를 활용하여 성능이 얼마나 나오는지 실험을 진행해보았습니다. 눈으로 보았을 때 아직 조금 다듬어야 할 부분들(문장 정렬,표현 등)이 보였으나 기존의 공개된 데이터들 (ex. Opensubtitles)에 비해 상당히 고품질의 데이터로 판단됩니다.

실험을 위한 테스트셋으로는 IWSLT에서 공개한 Test2016, Test2017을 사용하였습니다.

실험결과 한-영 기계번역에서 16.38(Test 16기준) 의 BLEU 점수가 나왔으며 Opensubtitles 데이터까지 함께 학습시켜보니 17.34 (Test 16기준)까지 나오는 것을 볼 수 있었네요. 기존에 서강대학교[저-자원 언어의 번역 향상을 위한 다중 언어 기계번역], 강원대학교[MASS를 이용한 영어-한국어 신경망 기계번역]에서 동일한 테스트셋으로 실험한 논문보다 성능이 높게 나옴을 알 수 있었습니다.(물론 학습데이터가 달라서 성능 비교는 의미가 없습니다...)

역시 데이터의 품질이 중요함을 다시 한번 알 수 있었네요…

해당 데이터로 많은 분들이 다양한 서비스를 만들어 보시면 좋을 거 같습니다.

추가적으로 해당 모델을 Demo형태로도 만들어보았으니 직접 사용해보실 분들은 사용해보시면 좋을 듯 합니다 !

[http://nlplab.iptime.org:32296/](http://nlplab.iptime.org:32296/)

최근에 데이터를 좀더 쉽게 Crawling 할 수 있는 방법이 있지 않을까 생각하다가 OpenCV의 Face Detection 과 dlib의 Face Align 코드를 합쳐보았습니다.

얼굴관련 연구하시는분들에게는 나름 유용하게 쓰일 수 있지 않을까 생각하여, GUI까지 구현하여 깃헙에 올려놨는데, 혹여나 필요하신분 계실까 싶어 링크 올려드립니다.

Usage 항목과 Installation 항목 참고하여 주시기 바랍니다.

[https://github.com/Jaesung-Jun/Cut-And-Save-Faces](https://github.com/Jaesung-Jun/Cut-And-Save-Faces)

#nlp_news #tokenizers #ner #felix_hill #ai_dungeon

올해의 첫 NLP 뉴스입니다! 최근 자연어 처리 관련 재밌는 소식들이 많아 어떤 소식을 전해드리는게 좋을까 고민을 하다가, 아래 5개 소식을 선정해 소개해드리고자 합니다. 본 글을 읽는 모든 분들께 유익한 글이 되었으면 좋겠습니다 🤗

ㅡㅡㅡㅡㅡㅡㅡㅡㅡ

1. Hugging Face's Tokenizers

자연어 처리 전문 스타트업 Hugging Face 사에서 토크나이저 라이브러리를 오픈소스로 공개하였습니다. 다들 아시다시피 Deep Learning을 연구 및 적용하는 연구자와 개발자들이 늘어남에 따라 많은 모델링 관련 오픈소스들이 공개되어 왔습니다. 그리고 Hugging Face의 transformers, Facebook의 fairseq, Google의 tensor2tensor 등의 오픈소스가 공개됨에 따라 모델 구현은 이전보다 많이 수월해진 면이 있습니다.

그러나 자연어 데이터 전처리에 필수적으로 포함되는 토큰화 작업에서 생기는 성능 이슈로 인해 여전히 전처리 과정에서의 병목은 존재합니다. 이처럼 전처리 과정에서 발생하는 병목 현상을 해소하고, 다른 오픈소스들과 같이 연구자 및 개발자들에게 더 나은 편의를 제공하기 위해 Hugging Face 사가 토크나이저 오픈소스를 새로이 공개하였습니다!

Hugging Face 사의 'tokenizers'는 [그림 1]과 같이 4개의 컴포넌트가 하나의 파이프 라인으로 구성되며, 각 컴포넌트는 다음 역할을 담당합니다.
- Normalizer: 입력된 텍스트 데이터에 정규화를 수행
- PreTokenizer: 공백을 이용한 간단한 문장 Split을 수행
- Model: BPE, WordPiece, SentencePiece 등의 Tokenization 알고리즘이 적용
- PostProcessing: (Optional) Model의 결과 값에 후작업을 수행 (e.g. Language Modeling을 훈련하기 위해 Special tokens를 더해줄 수 있음)

tokenizers 라이브러리는 Rust로 구현되어 단일 CPU 기준 GB 사이즈의 텍스트를 처리하는데 약 20초 미만이 소요되었다고 하며, 현재 Node.js와 Python 바인딩을 제공해주고 있습니다! 앞으로 자연어 처리 관련 연구 및 개발에 있어 많은 도움을 받을 라이브러리가 될 것 같습니다. 역시 갓 Hugging Face !

2. NER Papers repository

어제 소개해드린 CMU CS 11-747 강좌에 Graham Neubig과 함께 Co-instructor로 등록되어 있는 Pengfei Liu가 2013년부터 2020년까지 8년 간 ACL, EMNLP, NAACL, Coling, ICLR, AAAI, IJCAI 등 7개의 최상위 학회에 제출된 NER 논문들을 큐레이팅한 'Named-Entity-Recognition-NER-Papers' 레포지토리를 공개하였습니다.

논문 리스트와 더불어 NER 연구에 주로 사용되는 벤치마크 데이터셋 정보도 함께 제공해주고 있으며, 리스트 뷰어의 경우 검색, 인용 수 기준 정렬 등 부가적인 편의 기능까지 제공합니다. 특히 각 논문에 카테고리 태그를 모두 달아둠으로써 카테고리 별로 논문을 선별해 볼 수 있는 기능이 많은 연구자들에게 요긴하게 사용될 것 같아 소개를 드립니다 🙂

3. Dair's news letter

Medium에서 자연어 처리와 관련한 좋은 아티클를 많이 작성해주는 dair.ai에서 뉴스 레터를 시작하였습니다. 1~2주 간격으로 자연어 처리, 머신러닝과 관련된 최신 소식들을 전해준다고 합니다. 관심 있으신 분들이 생각나실 때 마다 여러 소식들을 캐치업하기 좋을 자료가 될 것 같습니다.

그리고 이번 첫 편에서는 Hugging Face의 tokenizers, TensorFlow 2.1에 새로이 추가된 TextVectorization 레이어, dair.ai가 Medium을 통해 발행했던 NLP Review in 2019 등을 다루었습니다!

4. Felix Hill's Non-Compositional

언어학, 수학 등에는 Compositionality의 원리가 존재한다고 합니다. (정확하지는 않지만 제가 이해한 바에 의하면) 이는 한 Expression의 의미는 해당 Expressoin을 구성하는 성분들의 의미와 그 성분들을 묶어주는 규칙에 의해 결정된다는 원리입니다. 언어학자들은 자연어가 대개 Compositional 하지만, Idiom과 같이 해당 원리가 적용되지 않는 예외도 존재한다고 이야기합니다. 해당 원리에 부합하지 않는 더 간단한 예로는 "I am home"과 같은 문장을 들 수 있겠네요.

DeepMind에서 인공지능을 연구하는 Felix Hill은 언어학자들과 다른 의견을 가지고 있는 것 같습니다. Felix는 자연어가 기본적으로 Non-Compositional 하다고 주장합니다. 아래는 Felix의 블로그 소개 글입니다.

"자연어는 수학이나 논리학 등의 형식 언어와 다르기에 흥미롭다. 사람들은 때때로 자연어가 Compositional하다고 생각하지만, 자연어는 Compositional한 언어가 아니다. 만약 당신이 자연어가 Compositional하다 생각한 바로 그 사람이라면, 내 블로그 Non-Compositional을 한 번 확인해봐라"

제게는 다소 생소한 언어학과 관련된 이야기이지만, Felix Hill의 "Natural Language is Non-Compositional" 주장에 관심이 있으실 분들이 계실 것 같아 소개를 드립니다. 해당 주장에 흥미가 생기신 분들은 아래 링크를 참조해주세요!

P.S Felix Hill은 Yoshua Bengio, 조경현 교수님과 같은 세계적 석학들과 Co-work을 하는 인공지능 관련 권위자이자 인지과학, 전산 언어학을 전공한 학자입니다. 이러한 Felix의 위 주장은 현재 Twitter에서도 꽤나 논쟁이 되고 있으니, 심각하게 받아 들이시기 보다는 다양한 관점의 주장을 접한다 생각하고 참고하시는게 좋을 것 같습니다 🙂

5. AI Dungeon 2

작년 12월 aidungeon.io 사에서 Open AI의 Pre-trained GPT-2 모델을 활용한 텍스트 기반 게임 AI Dungeon 2를 새로이 내놓았는데, 이게 해외에서 반응이 꽤나 좋습니다. 해당 게임은 GPT-2-small을 사용해 구현했던 AI Dungeon 1을 발전시킨 게임으로, 이번에는 OpenAI가 공개한 모델 중 가장 큰 GPT-2-large를 활용해 텍스트를 보다 안정적으로 생성할 수 있는 게임으로 중무장해 돌아왔습니다.

그리고 본 게임을 구현하며 진행했던 GPT-2 관련 여러 실험 + 튜닝 등의 이야기를 담은 메이킹 스토리 아티클이 있는데 해당 글도 상당히 재미있습니다. 먼저 모델 Fine-tuning의 경우, chooseyourstory.com에서 제공하는 모험 시나리오 관련 데이터셋을 활용해 진행했다고 합니다. 그리고 Text generation 모델들이 겪는 고질적인 문제인 '중복 단어의 생성 문제'를 해결하기 위해 Salesforce 팀이 CTRL에서 적용한, 이전에 이미 생성된 단어들의 확률 값을 의도적으로 줄여주는 방식을 본 게임 모델 개발에도 차용했다고 합니다.

또한 컨텍스트를 유지하기 위해 모델이 생성해낸 '상황 텍스트'와 '사용자의 입력'이 함께 다음 입력 값으로 들어가게 되며, 현재 입력 값 뿐만 아니라 최대 10턴 이전의 입력까지 Memory로 함께 가져가며 이전 상황 설정들을 기억하도록 하였습니다 (최적 메모리로는 이전 8턴 까지의 값들을 사용). 모델의 한계로는 상황 생성에 있어 자연스러운 텍스트를 생성해내고 있긴 하나, 대화문 등의 텍스트를 생성할 때 'Who is who?'를 파악하는 면에서 취약점을 보이고 있다고 합니다.

개인적으로 게임을 몇 번 진행해보았는데 꽤나 흥미로운 게임이었으며, Text generation 모델을 이러한 부문에서도 사용할 수 있구나라는 깨달음을 얻을 수 있었습니다. 그리고 메이킹 스토리의 경우, 모델을 적용하며 마주하게 되는 여러 문제들에 대한 대응 방안(apply CTRL tip, Memory network, ...)이 많이 담긴 좋은 글이기에 꼭 읽어보시길 추천드립니다. 시간 되실 때, 게임도 한 번 해보세요! 😆

ㅡㅡㅡㅡㅡㅡㅡㅡㅡ

[References]

Hugging face's tokenizer: https://github.com/huggingface/tokenizers

NER papers: https://github.com/pfliu-nlp/Named-Entity-Recognition-NER-Papers

Dair's NLP newsletter: https://github.com/dair-ai/nlp_newsletter

Felix Hill's Non-Compositional: https://fh295.github.io/noncompositional.html

AI Dungeon 2: https://play.aidungeon.io/
AI Dungeon 2 making story: https://pcc.cs.byu.edu/2019/11/21/ai-dungeon-2-creating-infinitely-generated-text-adventures-with-deep-learning-language-models/

머신러닝 - 16. NGBoost (데이터 파수꾼 Baek Kyun Shin)

앤드류 응 교수가 속해있는 스탠퍼드 ML Group에서 최근 새로운 부스팅 알고리즘을 발표했습니다. 머신러닝의 대가인 앤드류 응 교수의 연구소에서 발표한 것이라 더 신기하고 관심이 갔습니다. 2019년 10월 9일에 발표한 것으로 따끈따끈한 신작입니다. 이름은 NGBoost(Natural Gradient Boost)입니다. Natural Gradient이기 때문에 NGBoost지만 Andrew Ng의 NG를 따서 좀 노린 것 같기도 하네요.. 엔쥐부스트라 읽어야 하지만 많은 혹자들이 앤드류 응 교수의 이름을 따서 응부스트라 읽을 것 같기도 합니다.

어쨌든 다시 본론으로 넘어가면, 지금까지 부스팅 알고리즘은 XGBoost와 LightGBM이 주름잡았습니다. 캐글의 많은 Top Ranker들이 XGBoost와 LightGBM으로 좋은 성적을 내고 있습니다. NGBoost도 그와 비슷한 명성을 갖게 될지는 차차 지켜봐야겠죠.

* 출처 : https://bkshin.tistory.com/m/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-16-NGBoost

State of the art- Photoshop faces with hand sketches!

https://www.profillic.com/paper/arxiv:2001.02890

(The researchers propose Deep Plastic Surgery, a novel sketch-based image editing framework to achieve both robustness on hand-drawn sketch inputs and the controllability on sketch faithfulness)

안녕하세요 캐코!

최근 Kaggle에서 9개월 전에 진행한 Pet Finder 대회에서 1등팀이 cheating한 부분이 Hot Issue🔥 입니다.

이런 cheating을 어떻게 했는가? 에 대해 궁금하신 분들을 위해 어떤 분이 이렇게 좋은 커널을 만들어주셨습니다.

캐글을 포함하여 대회에서 이렇게 치팅을 설명해주는 커널은 많이 없으니 궁금하신 분들은 한 번 살펴보면 재밌을 것 같습니다

https://www.kaggle.com/bminixhofer/how-bestpetting-cheated/

엘리베이터를 타고 수아랩을 지나쳐 오면서 수아랩에 대한 기사(아래 링크)를 읽었다. 수아랩은 보이저엑스와 같은 건물에 있어서 더 관심이 가는 회사다. 최근에 미국 코그넥스에 2300억원에 인수가 되면서 크게 화제가 되었다.

우리 건물에는 스마트스터디도 있다. 보이저엑스 바로 아래 층에 있다. 아이를 가진 부모라면 모르는 사람이 없는 핑크퐁을 만든 회사다. 미국도 포함해서 글로벌하게 엄청 잘 나가고 있다.

그런데 수아랩도 스마트스터디도 자율과 책임을 아주 아주 강조하는 회사다. 수아랩은 "수아랩에선 당신 생각대로 일할 수 있다"라고 말하고, 스마트스터디는 정해 놓은 근무 시간과 근무 장소가 없다고 한다.

나는 이 두 회사가 자율과 책임을 강조하는 것은 단순히 우연이 아니라고 믿는다. 두 회사 모두 지식 노동자들이 모여서 일하는 회사고 기존에 없던 제품과 서비스를 만드는 것으로 사업을 하는 회사다.

20년전에 네오위즈에서는 서로 이름+님으로 불렀었다. 그때 네오위즈 창업자들은 기존 기업의 경험이 없어서 그러한 것들이 가능했었다고 하였다.

그리고 십수년이 지나니까 삼성전자, 현대차 등과 같은 대기업도 그렇게 바뀌더라.

때로는 그리고 어떤 면에서는 스타트업이 대기업보다 십년도 넘게 앞서갈 때가 있다.

물론 모든 조직이 자율을 강조할 수도 이름+님으로 호칭을 통일할 수는 없겠다. 예를 들어 군대에서 그렇게 하는 것은 상상할 수 없다.

하지만 지식 산업의 조직이라면 자율과 책임의 문화, 그리고 수평의 문화는 매우 중요하다. 왜냐면 기본적으로는 사람의 손발을 감독할 수는 있으나 사람 머리 속을 감독할 수는 없기 때문이다.

한국도 앞으로 점점 더 지식 산업의 기업들이 늘어날 것이고, 지식 노동자들이 늘어날 것이다. 그리고 그 지식 노동자들이 원하는 기업 문화, 그 지식 노동자들이 일을 더 잘 할 수 있게 하는 기업 문화는 자율과 책임 그리고 수평을 강조하는 문화이다.

한국 기업들은 이미 그렇게 변하고 있다. 적자 생존의 압력이 작용하고 있는 시장 경제 체제에서 지식 산업의 회사들은 자연스럽게 그렇게 변해가고 있다.

아무튼 이렇게 자율과 책임, 그리고 수평을 강조하는 회사들이 성과가 좋다는 기사가 나올 때마다 반갑다. 그렇게 해도 괜찮다 아니 더 나아가서 좋다라는 것의 사례이기 때문이다.

아참, 그리고 이 두 회사가 하필 우리와 같은 건물에 있는 것도 우연이 아니길 바란다. ㅋㅋ.

기사: [안혜리의 비즈니스 현장에 묻다] “성공 비결? 최고를 골라라, 간섭하지 말고 믿고 맡겨라” (나스닥 상장사에 매각된 AI 스타트업 수아랩 송기영 대표)

https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=110&oid=025&aid=0002966124&fbclid=IwAR0f29BBfrHB4JnWcoF_l657FLn6VEBvMf9PFGNWT9u6s4RW_tpz1qBrvDY

If you haven't seen YOLACT (think YOLO with masks) in action, check out the insane quality of this video of a giraffe. The output is similar to Mask R-CNN, but it's a single shot detector and can achieve real-time FPS! I made a Google Colab tutorial for anyone who wants to try it.

www.immersivelimit.com/tutorials/yolact-with-google-colab

Insanely excited to share an interview today with Abhishek Thakur who is an extremely respected individual in many communities. He is widely known for his Kaggle work and he is the first Kaggle 3x Grandmaster in the world. I am sure you wouldn't want to miss out on this one.
Read the interview here: https://medium.com/@spsayakpaul/an-interview-with-abhishek-thakur-data-scientist-and-kaggle-3x-grandmaster-47605c95ab0.

Did you know that now it is possible to search for datasets just like searching for images in Google? This makes easier than ever the searching of data to train our machine learning methods.

PS: Remember that as a good practice in data science you always have to clean and prepare any dataset before using it!

https://toolbox.google.com/datasetsearch
#datascience
#machinelearning

Slack group for implementing and discussing this paper: https://www.profillic.com/paper/arxiv:1911.08139 "MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets"

Here's your invite link to join the group: https://join.slack.com/t/machinelearningwiki/shared_invite/enQtNTM5NTIwNTk5OTIwLWFmNjY5MjI3YzY4ZjNmMmEwNjk4MDFjMGE2MzE1NTM1ZDBjZTU0YjlhY2Y1ODQyYjQyNWZmODhlNDZmOWU3MGQ

Once you've joined, here's the channel link for this paper: http://machinelearningwiki.slack.com/#marionette

저번에 하나의 퍼셉트론과 커스터마이징된 활성함수로 XOR문제를 풀었던 게시물이 있었습니다,

하지만 활성함수 ReoLU가 ReaLU를 기반으로 제작된 함수였기 때문에 ReLU함수와 동일한 'Dying ReLU' 현상이 나올시 해결방법으로,

2015년 ReLU의 문제점을 극복한 ELU함수를 사용하여 ReaLU와 동일하게 임계값을 적용해보았습니다.

임계값 뒤에 오는 함수도 Leaky ReLU와 비슷한 성향을 가질 수 있도록 커스터마이징이 가능합니다.

아직 공식적으로 출판된 논문도 없고, 비공식적인 함수가 될 수도 있지만, 덕분에 많이 공부되었네요

[https://github.com/Seungup/activate-functions-threshold-version](https://github.com/Seungup/activate-functions-threshold-version)

Slack group for anyone interested in implementing and discussing this paper: https://www.profillic.com/paper/arxiv:1912.03455

"Digital Twin: Acquiring High-Fidelity 3D Avatar from a Single Image"

Here's your invite link to join the group:

https://join.slack.com/t/machinelearningwiki/shared_invite/enQtNTM5NTIwNTk5OTIwLWFmNjY5MjI3YzY4ZjNmMmEwNjk4MDFjMGE2MzE1NTM1ZDBjZTU0YjlhY2Y1ODQyYjQyNWZmODhlNDZmOWU3MGQ

Once you've joined, here's the channel link for this paper: http://machinelearningwiki.slack.com/#digitaltwin

Anyone interested in implementing or discussing this paper: https://www.profillic.com/paper/arxiv:1910.08761

"Component Attention Guided Face Super-Resolution Network: CAGFace"

Here's your invite link to join the group:

https://join.slack.com/t/machinelearningwiki/shared_invite/enQtNTM5NTIwNTk5OTIwLWFmNjY5MjI3YzY4ZjNmMmEwNjk4MDFjMGE2MzE1NTM1ZDBjZTU0YjlhY2Y1ODQyYjQyNWZmODhlNDZmOWU3MGQ

Once you've joined, here's the channel link for this paper:

http://machinelearningwiki.slack.com/#cagface

https://www.facebook.com/ilkoo.ahn/posts/2865622860124058

‎한빛양‎ 님이 게시: TensorFlow KR

2019년 11월 20일

안녕하세요! TFKR 여러분.

한빛양입니다.

한빛미디어에서 여러 AI 기술서들을 출간 했고,

여러분의 도움과 큰 사랑을 받아왔습니다.

감사한 마음을 담아 따끈 따근한 신간과 베스트셀러 증정 이벤트를 준비했습니다.

추첨에 당첨 되신 분 15분께 응모하신 책을 한 권씩 보내 드리겠습니다. (매우 공정한 과정으로 추첨이 진행되며 랜덤으로 추첨 과정을 영상으로 공개할 예정입니다.)

많은 관심과 참여 부탁드립니다! ( _ _ )

[새로나온 책]

1. 출간과 동시에 반응이 뜨거운 책입니다.

✓ 미술관에 GAN 딥러닝 실전 프로젝트: GAN으로 쓰기, 그리기, 게임하기, 작곡하기

➡️ http://www.hanbit.co.kr/store/books/look.php?p_code=B9882286651

2. 머신러닝/딥러닝에 필요한 핵심 수학이 어려우신 분께 추천합니다.

✓ 소문난 명강의 : 김도형의 데이터 사이언스 스쿨(수학 편): 파이썬 라이브러리로 배우는 데이터 과학 필수 수학

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B3111220544

3. 정말 많은 분들이 기다리셨던,

✓ 데이터 전처리 대전: 데이터 분석을 위한 파이썬, SQL, R 실천 기술

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B1543811360

4. 3분 시리즈 3번째 책! 이번엔 파이토치 맛입니다.

✓ 펭귄브로의 3분 딥러닝, 파이토치맛: PyTorch 코드로 맛보는 CNN, GAN, RNN, DQN, Autoencoder, ResNet, Seq2Seq, Adversarial Attack

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B7193109877

5. 그로킹 시리즈 두 번째 책이 나옵니다.

✓ 그로킹 딥러닝: 매닝 출판사의 Grokking Deep Learning 한국어판 출간(11월 말 예정), Andrew Trask 저

[베스트셀러]

1. 밑바닥부터 시작하는 딥러닝: AI 주제 2019 판매 1위(누적 판매 부동의 1위)

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B8475831198

2. 밑바닥부터 시작하는 딥러닝2: 순환 신경망과 자연어 처리를 다루는 밑바닥 딥러닝 2편

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B8950212853

3. 핸즈온 머신러닝: 아마존에서 가장 많이 판매된 AI 기술서

➡ http://www.hanbit.co.kr/store/books/look.php?p_code=B9267655530

✪ 이벤트 참여 방법

✔ 게시물을 전체 '공유'+ 읽고 싶은 '책 제목'을 댓글로 남겨 주세요!

✔ 참여기간: 11월 20일(수) ~ 11월22일(금) 오후 6시까지

✔ 당첨자 발표: 11월 25일 (월) 낮 4시 , 게시물로 공지를 올리고 당첨되신 분들께 알려드리겠습니다.

- 도서는 배송지 정보를 11월 27일까지 전달해 주신분들에 한해, 11월 28일에 일괄 배송됩니다.

- TensorFlow_KR에 도서 소개를 할 수 있도록 게시물 등록을 동의 해주신 운영자 분들과 책에 관심을 가져주시는 회원님들께 깊이 감사드립니다.

-----------------------------------------------------------------------------

TensorFlow KR 11월20일 이벤트

#출간기념 및 베스트셀러 이벤트_당첨자 총 15분!

[김은수 , 우준식 , 곽남주 , 이태헌 , 한석균 , WooJun Kim , 유차형 , 김현우 , Lim Gon , 이석곤 , 한원근 , Dami Huh , 김준연 , 김재영 , Jinhoi Kim]

- 다시 한 번 이벤트 참여 너무나 감사드립니다!!

11월 22일 기준 무려 391명이 신청해주셨고요. 공정하게 선정하기 위해서 웹에서 랜덤 추첨기로 열다섯 분을 추첨했으며,

동영상으로 과정을 기록하여래 댓글에 올려두었습니다.

- 당첨자 15명 께서는 아래 폼을 통해서 배송지 정보를 기록하셔서 11월 27일 까지 전달 주신분들에 한해 도서는 11월 28일 일괄 배송됩니다.)

https://forms.gle/26EJpwENakMoqSsB8

고맙습니다!!!

http://www.kyobobook.co.kr/eventRenewal/eventViewByPid.laf?eventPid=38483

• 인공지능/머신러닝/딥러닝
• 파이썬
• 컴퓨터공학/IT에세이
• 프로그래밍 입문
• 마이크로스비스/클라우드
• 데이터분석/R
• 2019 새로운 주제
• 새로나온 책

안녕하세요 캐코!!

데이터 시각화 관련 좋은 글들을 찾아 공유합니다.
개인적으로 machine learning 관련 글을 읽는 가장 좋은 source는 medium의 toward data science 채널이라고 생각합니다.

https://towardsdatascience.com/

하지만 최근에 데이터 시각화에 있어 좋은 글이 많은 source를 찾아 공유합니다. 바로 나이팅게일(nightingale) 채널입니다.

데이터 시각화 관련 글만 집중적으로 올리고 있고, 데이터 시각화에 있어서도 다양한 주제로 글을 올리고 있어 앞으로 많이 참고할 수 있을 것 같습니다.

https://medium.com/nightingale

+ 커뮤니티를 새로 하나 만들어보려고 합니다. 좀 더 편한 느낌으로 다양한 인포그래픽과 데이터시각화 자료를 커뮤니티에 올리고, 정돈된 자료와 AI 부분에 좀 더 초점을 두어 페이지를 관리하고자 합니다.

관심이 있는 분들은 와서 좋은 글들 써주시면 감사하겠습니다. :)

Data Visualization KR : https://web.facebook.com/groups/2542191496047967/

https://www.youtube.com/playlist?list=PLBXuLgInP-5m_vn9ycXHRl7hlsd1huqmS

제목: 랜덤 포레스트를 통한 주가 움직임 예측
금융 분야에서 모든 사람은 주가를 예측하는데 있어 우위를 점할 무언가를 찾고 있습니다. 머신 러닝의 세계는 주가를 정확하게 예측할 수 있는 방법을 열심히 찾고 있는데요. 일부 존재하긴 하지만 퍼포먼스를 보장하기는 어렵습니다.
이 시리즈에서는 인기 있는 머신 러닝 모델 인 랜덤 포레스트를 다룰 것입니다. 랜덤 포레스트에서는 다양한 지표를 기반으로 주식의 움직임을 예측하는 머신 러닝 모델이 될 것입니다. 시리즈의 첫 번째 부분에서는 모델 개요를 설명합니다.

Video 1: https://youtu.be/V8jZuOtckn8
Video 2: https://youtu.be/W2hXbqnrUyY
Video 3: https://youtu.be/bdEQwJ6SPnA
Video 4: https://youtu.be/E2LX_hUHMn0
Video 5: https://youtu.be/iJmteST6fP8
Video 6: https://youtu.be/ioUtR92tDAA

GitHub: https://github.com/areed1192/sigma_coding_youtube

안녕하세요, Cognex Deep Learning Lab KR(수아랩)의 이호성입니다.

2020년 4월 말 에티오피아에서 열리는 ICLR 2020 학회의 accepted paper 가 공개가 되어서, 제 주요 관심사인 Image Recognition과 관련이 있는 21편의 논문을 빠르게 추려서, 한 편 한 편 읽고 정리를 하여 글로 작성해보았습니다.

https://hoya012.github.io/blog/iclr2020-paper-preview/

최대한 간결하게 작성을 하고 싶었으나, 원활한 설명을 위해 한 줄씩 추가하다 보니 글이 다소 길어졌습니다..!

새해를 맞이해서 최신 논문을 읽고 싶은데 어떤 논문을 읽을지 고민이 되시는 분들 아이쇼핑하고 가세요!

I recently created a classifying model that will predict if a patient has Heart Disease or not. The main metric I was focused on was lowering my false negatives, which conclusively I lowered to 1. Even so, if I were to create an app out of this, I would need to gather more data because the set I was working with is limited. Feel free to check this out and provide me feedback.

https://github.com/DrueStaples08/Heart_Disease/blob/master/Heart_Disease_Classifier.ipynb