오늘 많은 분들이 공유해주신 @Sebastian Raschka 님의 80여개가 넘는 기본 뉴럴넷과 CNN, RNN, GNN들 멋진 모델을 보고 놀랐는데요. 딥러닝 입문에 너무 좋을듯 하여 여기 모델 구조와 tensor shape을 뿌려주는 hiddenlayer 모듈을 사용하여 그림을 추가 해보았습니다.
Fork한 https://github.com/DeepSE/deeplearning-models/ 에 *Colab with Model Graph* 라는 링크가 있으면 모델 그래프를 추가한 것입니다.
아래 첨부한 그림처럼 구조를 한눈에 볼수 있습니다.
일부만 추가 했는데 나머지는 천천히 생각날때 하나씩 해보도록 하겠습니다. PR을 주셔도 좋습니다.
대략 기본적인 모델은 그래프를 넣어 보았는데요. 아직 attention 관련 transformer 관련 모델은 없는데 이런 부분 원 repos https://github.com/rasbt/deeplearning-models 에 PR보내 주시면 좋아 하실듯 합니다.
여러분, 안녕하세요. 간만에 인사드립니다. 아실 만한 분들은 아시겠지만 ratsgo라는 필명으로 블로그를 운영하고 있는 이기창이라고 합니다. speechbook이라는 페이지를 여러분들께 소개해 드리려고 이 야심한 시각에 키보드를 두드립니다.
지난 6개월동안 회사에서 Spoken Language Understanding이라는 태스크를 수행하고 있었습니다. 음성 입력이 주어졌을 때 해당 음성의 의도(intent)를 분류(classification)하는 모델을 구축하는 작업입니다.
음성에는 문외한이라 공부하면서 모델 만들고 모델 만들다 막히면 다시 공부하고 그런 과정을 겪었습니다. 맨땅에 헤딩하듯이 시행착오를 겪다보니 어느덧 6개월이라는 시간이 지나있더군요.
공부하면서 느낀 것인데요. 음성 인식 내지 음성 신호 처리와 관련한 한국어 자료가 정말 없더라고요. 주변 분들을 많이 괴롭히는 방식으로 지적 목마름을 채웠습니다(다시 한번 여러분들께, 특히 모두의연구소 음성 풀잎스쿨 분들께 감사를!).
그래서 다짐했습니다. 많이 부족하지만 음성 인식 관련한 한국어 자료를 만들어보자고요. 이 결심에는 오픈소스 생태계의 힘을 빌려보자는 알량한 생각도 좀 있었습니다. 제가 먼저 스타트를 끊으면 무림고수 분들이 누더기 같은 자료의 질을 높여줄 것이라는 기대 말이죠.
컨텐츠를 만들고 공유하는 방식에 대한 고민도 좀 있었습니다. 기존 ratsgo 블로그는 아티클 단위의 소비가 이뤄지고 있습니다. 특정 키워드 검색으로 인입된 트래픽이 해당 아티클만 보고 떠나는 경향이 있습니다.
ratsgo 블로그 독자 가운데는 "블로그 공부 순서를 알려주셨으면 좋겠다"고 하시는 분들도 있습니다. 하지만 기존 블로그는 처음부터 아티클 단위로 기획된 블로그이기 때문에 순서를 정해 알려드리기가 쉽지 않더라고요. 음악 앨범이나 신문 지면이 그렇게 하고 있는 것처럼 아티클 배치 순서나 아티클과 아티클 사이 공백을 채워야겠다는 생각이 들었습니다.
썰이 길었는데요. speechbook은 이러한 배경에서 탄생한 페이지입니다. '음성 인식 관련 한국어 자료' 컨셉으로 만들었고요. Hidden Markov Model 같은 기존 음성 인식 시스템 관련한 내용은 스탠포드 대학의 'Speech and Language Processing'을 중심으로 정리했습니다. 딥러닝 계열 모델들은 최신 논문을 많이 포함했습니다. 목차대로 읽으면 이해가 될 수 있도록 목차와 아티클 배치에 신경을 썼습니다.
많이 부족하지만 speechbook을 여러분들께 소개드리는 이유는 한국어 ML 컨텐츠가 좀 더 많이 유통되었으면 바람에서입니다. 질문이나 의견, 오류 신고 등을 격하게 환영합니다. 기존 블로그와 달리 본문/목차의 수정/보완/삭제/추가 관련 Pull Request를 적극적으로 받고자 합니다. 모든 페이지에 의견을 남길 수 있으며 모두 github issue와 연동됩니다.
무림고수 분들께서 도와주시면 좀 더 양질의 지식을 많은 분들께 공유할 수 있지 않을까 싶습니다. 그만큼 우리 지식의 수준이 높아질 것이라 기대합니다. 그럼 앞으로 잘 부탁드리겠습니다.
[YouTube channel: Yannic Klicher] 연구자 분들께 유용할 것 같은 유튜브 채널을 하나 공유합니다. Yannic Klicher 의 채널인데요, 이미 많은 분들이 구독하고 계실 것 같습니다. 주로 딥러닝 최신 논문들에 대한 리뷰가 올라오는 채널입니다. 기존에는 몇 주에 하나씩 동영상을 올리다가, 약 2달 전부터 (트위터에서) 큰 주목을 받은 논문이 공개되면 하루도 지나지 않아 바로 리뷰 비디오를 업로드하는 엄청난 속도를 보여주고 있습니다. 더불어서 구독자 수도 빠르게 증가하고 있습니다. 사실 논문 리뷰 컨텐츠를 올리는 채널은 Yannic 이외에도 많지만, 개인적으로 차별화된다고 생각하는 점이 몇 가지 있습니다. 디테일한 부분은 넘기고 메인 아이디어에 대해서 바로 설명을 합니다. 별도의 프레젠테이션 자료 준비 없이 논문 위에서 필기를 하며 설명을 하는데, 많은 연구자들이 논문을 처음 스킴하는 방식과 비슷해서 쉽게 논문의 핵심을 이해할 수 있습니다. 다양한 분야를 다루면서도 배경 및 메인 아이디어에 대한 이해도가 깊습니다. 논문의 주장 외에도 자신이 생각한 약점 등에 대해 코멘트를 해 주기 때문에 영상을 보는 사람은 여기에 대해서 또 생각해 보면서 능동적으로 논문을 읽을 수 있습니다. 논문 리뷰속도가 굉장히 빠르고, 영상 업데이트 주기도 갈수록 빨라지고 있습니다. 개인적으로 지금까지 봤던 딥러닝 관련 채널들 중에서 가장 마음에 듭니다. 앞으로도 지속적인 활동을 해 주면 좋겠네요 :) YouTube: youtube.com/c/yannickilcher Twitter: twitter.com/ykilcher
이미지 Detection관련 네트워크나 기술 설명은 많이 나오는데 분류 문제는 잘 연구가 안되고(=끝났는지) 있는지 정보가 별로 없네요.
추천할만한 또는 최근에 나온 이미지 분류 네트워크 아시면 알려 주세요.
EfficientNet이 최근 연구중에 가장 괄목할만한 성능을 보여주었고, 그 뒤로 RegNet, TResNet 등 간헐적으로 architecture 연구가 진행이 되고 있는데, 이제 거의 끝물인것 같네요. 성능을 올리기 위해 architecture를 쥐어짜내는 시기는 지난 것 같고, 이제는 어떻게 대용량의 데이터를 잘 처리할지, 어떻게 무수히 많은 unlabeled 데이터셋을 활용하여 성능을 높일지 등을 풀고 있다고 보면 될 것 같습니다.
Hi, I was told that pytorch is for research purpose and tensorflow for development. Need some clarrification because I have seen people using pytorch too in development. Can't we do all tasks in pytorch which can be done in tensorflow? Give your views
When it comes to deployment in embedded devices, you need to convert pytorch model to tensorflow using third party software. So, you can do all tasks in pytorch but tensorflow is needed when it comes to deployment in devices like android, raspberry pie, etc
This used to be more true than it is now.
Tensorflow didn't have "eager mode" which made it hard to interactively debug research (it does have an eager mode now).
Pytorch didn't have static graphs or a c++ or mobile api which made it harder to deploy in production in some cases (it does now have static "jit" graphs and c++ and mobile APIs).
There are still some differences, eg some researchers prefer the numpy-like api of pytorch. I think Tensorflow has a Javascript api.
The differences are much smaller today and a lot of it comes down to personal preference.
Extracting editable 3D objects directly from a single photograph. For project and code or API request: [https://www.catalyzex.com/paper/arxiv:2005.13312](https://www.catalyzex.com/paper/arxiv:2005.13312)
They simultaneously identify profile-body relations and recover 3D parts by sweeping the recognized profile along their body contour and jointly optimize the geometry to align with the recovered masks. Qualitative and quantitative experiments show that our algorithm can recover high quality 3D models and outperforms existing methods in both instance segmentation and 3D reconstruction
[오픈소스+젯슨보드] AIoT: 생각에 대한 인공 지능 #PyTorch #JetsonNano #Autoencoder #kmeans #ml #뇌파탐지예측 #EEG #GitHub #기계학습 #IoT 뇌파를 읽고 신호 처리하는 방법, Autoencoder를 구축 및 훈련하여 EEG 데이터를 잠재적 인 표현으로 압축하는 방법, 뇌 상태를 결정하기 위해 데이터를 분류하는 k-means 기계 학습 알고리즘 및 물리적 하드웨어를 제어하기 위한 정보! 그리고 그 과정에서 파이썬으로 GUI와 실시간 그래픽을 만드는 방법에 대한 팁을 얻으십시오. 공헌자: David Ng GitHub: https://github.com/dnhkng/AIoT Hackster.io: https://www.hackster.io/dnhkng/aiot-artificial-intelligence-on-thoughts-f62249
Semantic Segmentation from Image Labels For project and code or API request: https://www.catalyzex.com/paper/arxiv:2005.08104
They develop a segmentation-based network model and a self-supervised training scheme to train for semantic masks from image-level annotations in a single-stage
We've just open-sourced our implementation of TransformerTTS 🤖💬: a Text-to-Speech Transformer. It's based on a Microsoft paper: Neural Speech Synthesis with Transformer Network. It's written in TensorFlow 2 and uses all its cool features.
The best thing on our implementation though is that you can easily use the WaveRNN Vocoder to generate human-level synthesis. We also provide samples and a Colab notebook. Make sure to check it out and please star ⭐️ the repo and share it! We're already working on the Forward version of TransformerTTS and we'll release it soon as well.
Artificial Intelligence it’s a journey, not a destination.
This means only one thing; you need to be prepared for constant learning. Is it a tough path? With all the abundance of abstract terms and an almost infinite number of details, the AI and ML learning curve can indeed be steep for many. But, getting started with anything new is hard, isn’t it? Moreover, I believe everyone can learn it if only there is a strong desire. Besides, there is an effective approach that will facilitate your learning. Like for example, you don’t need to rush, just start with small moves. Imagine a picture of everything you have learned. Every day you should add new elements to this picture, make it bigger and more detailed. Today you can make your picture even bigger by dint of lots of tools out there that allow anyone to get started learning Machine Learning. No excuses! And you have not to be an AI wizard or mathematician. You just need to learn how to teach machines that work in ones and zeros to reach their conclusions about the world. You’re teaching them how to think! Wanna learn how to do so? Here are the best books, courses and more that will help you do it more effectively without being confused.
Bes AI & ML Online Courses


If you want to know more about Artificial Intelligence and Machine learning, online course is a great opportunity to study theoretical aspects and solve practical problems. If you have a sufficient amount of time for this, use this chance. Here are a few courses that I will undoubtedly recommend:
This intensive course provides an in-depth introduction to AI and Machine Learning, it helps understand statistical modeling and discusses best practices for applying Machine Learning. Here you can learn everything about training and assessing models performing common tasks such as classification, regression, and clustering. All this is just in fifteen videos and 81 exercises with an estimated timeline of six hours. By the end of this course, you’ll have a basic understanding of all the main principles. Consequently, it will equip you to transition into a role as a machine learning engineer.
Totally legendary and the most basic machine learning course from Andrew Ng, one of Coursera’s co-founders. Highly recommend this one. Why so? It provides an in-depth introduction and helps you understand statistical modeling and discusses best practices for applying. This is a really good course, after which many things in machine learning become clear. In total, the course lasts 11 weeks. Each week involves 1–2 hours of video lectures, a test of knowledge of the theory and a practical task on the application of specific machine learning methods. In total, it took me 4–6 hours to complete all the material and complete all the tasks of one week. It is important to complete practical tasks, you need to be able to program at least at the most basic level. Personally, I recommend that you complete all the tasks yourself. Nevertheless, if you do not strive to get a follow-up of course, you can not do them. As a last resort, GitHub is full of repositories with various ready-made solutions to practical problems. In my opinion, the course has exactly one disadvantage — the code will need to be written in MATLAB. If this does not bother you, then don’t hesitate to take it.
Another one creation from Andrew Ng. I especially liked the third course, where Andrew talks about how to conduct research in the field of deep learning. But his advice can come in handy in classic ML. What background knowledge is necessary? Basic programming skills (understanding of for loops, if/else statements, data structures such as lists and dictionaries) and that’s all.
If you’re looking for a short yet concise online course that gives a great summarization to your already existing ML knowledge, this is the best choice for you. This course on Machine Learning with Python will equip you to understand the concepts of using data to predict future events. Here you will learn to build predictive models and use Python to perform Supervised learning with scikit-learn, the most powerful ML library used by every Machine Learning Engineer and Data Scientist.
Last but not the least, this course will help you master ML on Python and R, make accurate predictions, build a great intuition of many machine learning models, handle specific tools like reinforcement learning, NLP and Deep Learning. In other words, here is everything you need to master! * And one more suggestion concerning statistics. Where would we be without statistics? In order to set up experiments and correctly calculate correlations, you need to know the statistics. There is an excellent course that I recommend. And if you are completely lazy, then use the book Head First Statistics. Small, with visual pictures — you can read it in just a couple of hours.
AI and Machine Learning Books
Well, then…if you want to dig a little deeper and figure out what’s what, there is no other way than reading good books! This approach can not boast of relevance, but this can be a source of information for a limited period of time and give you a fundamental understanding of technology and how it can be implemented for your tasks.
Nice book for everyone! The author reveals the methods of constructing models and machine learning algorithms. Here are carefully selected examples, accompanied by illustrations, which are gradually becoming more complicated. At the end of each part are links to additional literature with comments by the author.
This one is simpler and easier to read and also it has lots of practical examples. In general, this book will not make you a specialist in machine learning, but will introduce you to the basics in “human language” and show examples of use. Very suitable for the first acquaintance with the topic, especially when you have a background in programming.
Must-read! This book is one of the most advanced in deep learning and machine learning. It also covers the mathematical and conceptual background, deep learning techniques used in industry, and research perspectives.
The book is a bestseller in the Artificial Intelligence section. A huge benefit of this book is the underestimated requirements for the reader’s knowledge. The book is a step-by-step journey through the mathematics of neural networks to create your own neural network using Python. After reading, you can do the main thing: write code in Python, create your own neural networks, teaching them how to recognize various images, and even create solutions based on the Raspberry Pi. But this is not all, because there is also mathematics in the book, but it will not make you scream from horror and misunderstanding ;)
It’s hard for me to call this book a must-read, cause most experts usually get acquainted with this content in practice. However, this book can save you time on the invention of some bicycles and introduce you to the classical methods of speech recognition, language processing, and information retrieval. Whether this is necessary for the era of dominance of neural networks is up to you.
Through a minimal theory, application of concrete examples, and two pre-built Python production infrastructures — scikit-learn and TensorFlow — the author will help you to achieve an intuitive understanding of tools and concepts for building intelligent systems. Thanks to this book, you will learn a wide range of techniques, from simple linear regression and progression to deep neural networks. Totally recommend this book!
The book is intended for graduate students and is intended for those who have basic knowledge in the field of machine learning. I liked the emphasis on missing values of some of the chapters. Would recommend the middle part of the book as a good, but slightly unorthodox introduction to machine learning.
And the last book on this list that I can’t ignore. It is a fascinating series of essays that ponder the effect that the development of artificial intelligence might have in all the circles of our life. I am still reading it and it is an intellectual feast.
Additional Information and Useful Links
Wanna learn more? Have no time for reading books, or taking a course? Read articles or find needed stuff on GitHub. Here are some must-visited places for this:
Open Source Society University’s Data Science course — this is a solid path for those of you who want to complete a Data Science course on your own time, for free, with courses from the best universities in the World
51 ideas for training tasks (toy data problem) in Data Science
You don’t have to be great to start, but you have to start to be great ― Zig Ziglar.
That’s how I wanna end this post. And the last thing, learn AI an ML, cause this is a super exciting time to be involved in this field. And you probably won’t regret it if you start this journey to new knowledge and spend your time on this. If believing the predictions of futurists, these technologies are our future! As always, if you do anything cool with this information, leave a response in the comments below or reach out at any time on my Instagram and Medium blog. Thanks for reading!
Latest from MIT researchers: A new methodology for lidar super-resolution with ground vehicles
For project and code or API request: https://www.catalyzex.com/paper/arxiv:2004.05242
To increase the resolution of the point cloud captured by a sparse 3D lidar, they convert this problem from 3D Euclidean space into an image super-resolution problem in 2D image space, which is solved using a deep convolutional neural network
#의료인공지능 #Pathology #대회솔루션코드공개 안녕하세요 TFKR! 서울아산병원이 주최한 의료인공지능대회인 HeLP2019 Challenge의 'Breast cancer classification on frozen pathology’ 주제에서 1위를 달성한 GoldenPass팀(김대영, 최종현, 김태우)의 솔루션 코드를 공유드리고자합니다!!!
🐱 솔루션 코드 github : https://github.com/cyc1am3n/HeLP2019_Breast_Cancer_1st_solution
4월 9일 성과발표회를 끝으로 지난해 12월 말부터 진행되었던 HeLP 2019 Challenge가 종료되었습니다. 그리고 UNIST, 서울대학교병원, 고려대학교가 공동 주관한 PAIP2020 challenge, Kaggle의 PANDA Challenge 등 최근 pathology에 관련된 대회가 많이 열리고 있는데요. 저희 팀의 솔루션이 해당 분야를 공부하시는 분들께 도움이 될 것 같아 코드를 정리해보았습니다. 전체 로직이 궁금하신 분은 아래 youtube 영상 링크를 참고해주세요~!
🎬 GoldenPass팀 성과발표회 영상 : https://youtu.be/T7PmaWMCN2w
또 저희 팀이 참가한 '임파절 병리 조직 슬라이드를 이용한 유방암 전이 판별' 주제 말고도 '응급 상황 전신CT 검사 결과 외상 부위 검출', '호흡수, 맥박수 등 생체신호로 신생아중환자실 응급상황 예측', '심장 CT 검사 결과 바탕 심장판막질환자 구별' 등 총 4가지 주제가 있었는데요. 각 주제의 1위, 2위 팀들의 성과 발표 영상이 Youtube, AI HeLP Challenge AMC 채널에 올라와 있습니다! 이번 HeLP2019 대회의 다양한 주제에 대한 솔루션도 함께 보시면 더 좋을 것 같아 해당 링크도 함께 공유드립니다~!
👩⚕️👨⚕️ AI HeLP Challenge AMC 채널 링크 : http://bitly.kr/b6Aua1ViO
손과 얼굴 트래킹은 이제 웹에서 아주 쉽게 할 수 있는 것 같습니다. MediaPipe와 TensorFlow.js 를 이용해서 하는 방법을 잘 소개하고 있네요. 이를 위해 facemesh / handpose 라는 패키지들이 공개되었습니다. 당장 적용해서 써먹어 볼 수 있는 앱들이 많을 것 같습니다.
- 코랩 노트북에서 가상머신으로의 쉬운 연결, 최신 파이썬 버전 설치되어 있음, 수백개의 유명한 라이브러리 설치.
10가지 유용한 팁
(1) 텐서플로 2.x 버전대 지정하기(사용 가능)
(2) 텐서보드 사용
(3) TFLite? 사용가능 - 코랩에서 훈련하고, 모바일로 배포
(4) TPU - 무료 : 와우~, 런타임 변경 필요.
(5) 로컬 런타임 : 본인 GPU 사용 가능
(6) 코랩 scratchpad ??
(7) 데이터를 코랩 vm에 복사하기 - 속도 향상
(8) 메모리 관리
(9) 작업 종료후 탭 닫기
(10) 필요시에만 - GPU 사용(자원 관리)
코랩 프로 출시
그냥 아무 생각없이 코랩 사용하고 있었는데, 새로 알게된 기능들이 있네요. 코랩을 더 잘 사용할 수 있을 것 같아요. 개인적으로는 데이터를 가상머신에 복사하는 기능의 성능 향상이 궁금하네요. 기존 코랩 사용할 때, 데이터가 크면 로컬에서, 구글드라이브에서 불러올때 성능 차이가 좀 많이 났거든요.
Alexandre Devaux coded an experiment that extract people from photo using deep learning and make them appear as holograms: https://twitter.com/AlexandreDevaux/status/1234460583552049152
Deep Learningis clearly a field that has seen crazy advancements in the past couple of years. These advancements have been made possible by the amazing projects in this area. The need forData ScientistsandAI Engineersare high in demand and this surge is due to the large amount of data we collect. So, in this article, I’ll discuss some of the top Deep Learning Projects.
Lung cancer has long been one of the most difficult forms of the disease to diagnose. With doctors using their eyes for detection, the nodules are harder to spot and as a result, the cancer is eitherdetected too lateor not detected at all. The nodule can have a variety of looks, and it takes doctorsyears to knowall the different looks.
12 Sigmauses deep learning to train an AI algorithm that would help doctors analyze CT scan images more efficiently. They train the models on GPU-powered neuralnetworks that run50 times fasterthan those running CPUs. Hospitals using the Model can get results inunder 10 minwhich saves at least 4-5 hours of Doctor’s work.
Detectron is Facebook AI Research’s software system that implements state-of-the-artObject Detectionalgorithms. It is written in Python and powered by the Caffe2 deep learning framework. You can detect every object in a video and that too live.
The goal of Detectron is to provide a high-quality, high-performance codebase for object detection research. It is designed to be flexible in order to support rapidimplementation and evaluation of novel research. It contains more than50 Pre-trained models. It’s an amazing Deep Learning Project.
Deep Learning is also doing major advancements in audio processing and it’s not just generating music or classification. WaveGlow is a Flow-based Generative Network for Speech Synthesis byNVIDIA.
AI & Deep Learning with TensorFlow
Instructor-led Sessions
Real-life Case Studies
Assignments
Lifetime Access
Explore Curriculum
WaveGlow combines insights from Glow and WaveNet in order to provide fast, efficient and high-quality audio synthesis, without the need for auto-regression. WaveGlow is implemented using only asingle network, trained using only asingle cost function: maximizing the likelihood of the training data, which makes thetraining procedure simple and stable.
Google Brain has devised some new software that can create detailed images from tiny, pixelated source images. Google’s software, in short, basically means the “zoom in… now enhance!” TV trope is actually possible. First, take a look at the image on the right.
The left column contains the pixelated8×8 source images, and the center column shows the images that Google Brain’s software was able to create from those source images. For comparison, the real images are shown in the right column. As you can see, the software seemingly extracts an amazing amount of detail from just64source pixels. It’s ana amazing Deep Learning Project.
No challenge today is more important than creating beneficialArtificial General Intelligence(AGI), with broad capabilities at the human level and ultimately beyond. OpenCog is a project that aims to build an open-source artificial intelligence framework.
The human brain consists of a host of subsystems carrying out particular tasks: some more specialized, some more general in nature. The OpenCog design aims tocapture the spirit of the brain’s architecture and dynamics without imitating the details.Sophiathe great AI Bot is one of the first of it’s kind to possess the traits of AGI.
A longstanding goal in character animation is to combine data-driven specification of behavior with a system that can execute a similar behavior in a physical simulation, thus enabling realistic responses to perturbations and environmental variation.
DeepMimic is an example-GuidedDeep Reinforcement Learningof Physics-Based Character Skills. The reinforcement learning (RL) methods can be adapted to learn robust control policies capable of imitating a broad range of example motion clips, while also learning complex recoveries, adapting to changes in morphology, andaccomplishing user-specified goals.
Imagine you have ahalf imageof a scene and you wanted the full scenery, well that’s what image outpainting can do that for you. This project is aKerasimplementation of Stanford’s Image Outpainting paper. The model was trained with 3500 scrapped beach data with argumentation totaling up to 10500 images for 25 epochs.
This is an amazing paper with a detailedstep by stepexplanation. A must-try example for all the Deep Learning Enthusiasts. Personally, this is my favorite DeepLearning project.
Watson is an IBM supercomputer that combines Artificial Intelligence (AI) and sophisticated analytical software for optimal performance as a “question answering” machine. The supercomputer is named for IBM’s founder, Thomas J. Watson. It is the open, multi-cloud platform that lets you automate the AI life cycle.
AI & Deep Learning with TensorFlow
Weekday / Weekend BatchesSee Batch Details
Applications for Watson’s underlying cognitive computing technology are almost endless. Because the device can perform text mining and complex analytics on huge volumes of unstructured data, it can support a search engine or an expert system with capabilities far superior to any previously existing.
The possibility of IBM Watson is endless. It works in major areas like:
Healthcare
Analytics
ChatterBot
Teaching Assistants
With this, we come to an end of this Deep Learning Projects article. I hope these projects are enough to get you started on Deep Learning Projects, check out theAI and Deep Learning With Tensorflowby Edureka, a trusted online learning company with a network of more than 250,000 satisfied learners spread across the globe. This Certification Training is curated by industry professionals as per the industry requirements & demands. You will master the concepts such as SoftMax function, Autoencoder Neural Networks, Restricted Boltzmann Machine (RBM) and work with libraries like Keras & TFLearn.
Sound Classification with Machine Learning: A demo of a Neural Network trained to classify animal sounds, rain drops, baby crying and man-made noises like helicopter flying.
(누구든 사는 것의 uncertainty와 부족한 자원에 자주 실망한다. 인공지능 훈련을 하면서 이러한 것이 오히려 성공의 요소로 중요하다는 것을 배운다)
서울대 전기정보공학부의 성원용교수입니다. 나는 올해 8월 은퇴를 앞두었습니다만, 지난 몇년간 인공지능 분야를 재미있게 연구했습니다. 주로 효율적인 하드웨어 구현을 위한 단어길이 최적화, 그리고 응용으로는 음성인식입니다.
오늘은 설이기 때문에 젊은 후학들에게 인공지능을 통해 배우는 인생이 무엇인가하는 것을 생각해 보았습니다. 우리가 인공신경망의 훈련에 SGD(Stochastic Gradient Descent)를 많이 쓰는데, 이 훈련이 잘 되려면 네트워크를 loss surface의 소위 flat minima (평평한 최소)로 보내야 합니다. Flat minima는 웨이트의 값이나 data의 분포에 변화가 생겨도 loss가 크게 변하지 않기 때문에 소위 generalization (일반화) 능력과 관련해서 중요한 개념입니다. 나의 경우는 flat minima를 인공신경망 웨이트의 단어길이를 줄이는 목적으로 중요하게 생각합니다.
최근의 인공신경망은 파라미터의 갯수가 많기 때문에 훈련 데이터를 몇 에포크 돌리면 금방 다 외워버립니다. 즉, 트레이닝 로스가 매우 작아집니다. 그런데 빨리 훈련이 되면 flat minima에 가지 못하는 경향이 있습니다. 이를 오버피팅(over-fitting)되었다 하기도 합니다. 그 까닭은 인공신경망이 만드는 loss surface는 non-convex이기 때문입니다. Non-convex는 최소값 지점(minima)이 수없이 많지요. 따라서 적당하지 않은 minima에 빨리 정착해서 훈련 끝났음하면 안 됩니다. 이렇게 적당하지 않은 minima를 sharp minima라 하는데 training loss는 이 점에서 작을지라도 전체적으로 data의 통계적 변화에 취약합니다. 즉 generalization 능력이 떨어집니다.
이렇게 sharp minima를 피하기 위한 대표적인 훈련법이 SGD (stochastic gradient descent)입니다. GD(gradient descent)와 비교할 때 SGD는 크지 않은 mini-batch size (보통 32~512정도)로 loss를 얻어서 웨이트를 업데이트하는데 이 때 그 미니배치에 어떤 데이터가 들어오냐에 따라서 일종의 noise가 생기고 이 것이 SGD를 sharp minima에 빠지지 않게 하는 역할을 한다고 합니다. 또 다른 방법이 L2 weight regularization입니다. 이 경우는 weight 값의 크기에 제약을 두는 것입니다. 이 밖에도 weight 나 gradient에 noise를 injection하는 방법이 있습니다. 그리고 dropout 도 regularization 입니다.
이러한 regularization방법은 크게 두가지 특징을 가지고 있습니다. 첫째로 uncertainty입니다. GD의 경우는 batch size가 엄청커서 평가의 nosie가 적습니다. 그렇지만 SGD는 batch size가 제한되어 있기 때문에 noise가 큽니다. 어떤 때는 잘못된 방향으로 update합니다. 그렇지만 이 것이 sharp minima에서 빠져나오는데 도움을 줍니다. 두번째는 제약(constraint)입니다. L2 norm을 작게한다든가 weight의 값에 noise를 넣습니다. Regualarization을 가하면 training accuracy 100%를 찍기가 엄청 어렵습니다. Training loss가 천천히 줍니다. 말하자면 더 어려운 시험문제, 더 나쁜 상황으로 훈련을 시키는 것에 비유할 수 있습니다.
이 DNN훈련이 삶에 주는 지혜가 있습니다. 성공하기 위해서는 flat minima를 찾아야 합니다. 직업에 있어서 flat minima는 유연성과 확장성이 있어서 발전가능성이 크고 위기에도 견딜 수 있는 것입니다. 그래서 경영학 구루들은 사람들에게 '자신의 편안한 영역(일종의 sharp minima)에 안주하지 말라' 조언합니다. 그리고 flat minima를 찾기 위해서는 uncertainty를 감수해야 합니다. 입학시험부터 입사시험에 이르기까지 합격 불합격이 꼭 실력대로 되는 것은 아닙니다. 그래도 꼭 실력대로 안되는 세상이 모든 것이 성적대로 줄세워서 되는 세상보다는 낫습니다. 단지 세상은 이러한 uncertainty를 가지고 움직인다는 것을 이해해야 합니다. 두번째는 적절한 regularization이 필요합니다. 돈걱정등 모든 걱정이 없으면 좋을 것 같지만, 많은 재벌의 자식들이 마약문제로 언론에 많이 나옵니다. 부모의 후광으로 빨리 출세가 좋은 것이 아닙니다. 오버피팅되는 네트워크를 만드는 것입니다. 적절한 regularization은 오히려 성공에 도움을 줍니다.
누구든 사는 것의 uncertainty와 부족한 자원에 자주 실망합니다. 그렇지만 인공지능 훈련을 하면서 이러한 것이 또한 성공의 요소로 중요함을 덕담으로 남깁니다. 올 한해에도 많은 성과가 있기를 바랍니다.
I recently created a classifying model that will predict if a patient has Heart Disease or not. The main metric I was focused on was lowering my false negatives, which conclusively I lowered to 1. Even so, if I were to create an app out of this, I would need to gather more data because the set I was working with is limited. Feel free to check this out and provide me feedback.
최근 여러 국가에서 오마주하고 있는 교육 프로그램 에꼴 42의 수료생인 Emil Wallner라는 ML 리서쳐가 자신이 어떻게 인터넷 자료들만 가지고 ML 리서쳐가 될 수 있었는지에 대해 그 학습 방법을 공유한 글이 있습니다.
Coursera 수료증 같은 것이 아니라 실질적으로 어떠한 Output을 내야 Internet-educated들이 ML/DL 분야에서 직업을 얻을 수 있을지에 대한 현실적인 조언과 함께 유용한 정보가 많이 담긴 글이기에 공유를 드립니다 ! +) Emil Wallner는 현재 Google Arts에서 레지던시 프로그램을 지니고 있습니다.
2020년 ML/DL 분야의 공부를 새로이 시작하시려는 분들께 좋은 이정표가 되리라 믿습니다 🙂
P.S 글을 잘 읽으셨다면 번역이 아닌 원 글(https://github.com/emilwallner/How-to-learn-Deep-Learning)에 스타를 눌러주시면 좋을 것 같습니다 !
Deep Learning에 중점을 두고, High-level 프레임 워크부터 학습하는 실용적인 Top-down식 접근법을 취합니다.
시작 [2 개월]
Deep Learning 학습에 박차를 가하기 위해서는 다음 3개의 주 목적을 달성해야 합니다:
앞으로 사용할 도구들에 익숙해져야 합니다. (e.g. 파이썬, CLI, 주피터 노트북 등)
데이터 수집부터 훈련 모델 배포까지 워크 플로우의 모든 과정에 익숙해져야 합니다.
Deep Learning 사고 방식을 지녀야 합니다: 어떻게 Deep Learning 모델들이 동작하고, 어떻게 해당 모델들을 개선시킬지와 같은 직감을 길러야 합니다.
한 주간codecademy.com에서 시간을 보내며 파이썬 기본 문법, CLI 그리고 git을 학습합니다. 만약 여러분이 프로그래밍 경험이 없이 시작하셨다면, 어떻게 프로그램을 작성하는지 학습하기 위해 몇 개월을 본 스텝에 투자하는 것이 좋습니다. 그렇지 않으면 여러분은 이후 과정에서 쉽게 좌절하게 될 것입니다.
클라우드 GPU에서 모델을 구현하는데 한 달을 할애합니다. 이 때,FastAI코스로 본 스텝을 시작하는 것을 추천드립니다. FastAI 커뮤니티는 Deep Learning 기술들을 적용하고 최신 기술과 관련된 정보를 공유하기 좋은 장소입니다.
여러분이 위 과정을 모두 완수하셨다면, 이제 어떻게 머신러닝에 가치를 부여할지에 대해 알게된 것입니다.
포트폴리오 [3 - 12 개월]
포트폴리오는 새로운 기회를 위한 일종의 창구입니다. 그렇기 때문에 여러분이 관심 있는 주제로 포트폴리오를 제작하는 것이 중요합니다. 포트폴리오는 또한 Machine Learning의 여러 다양한 분야를 경험할 수 있는 좋은 기회이기도 합니다. 만약 여러분이 ML 중 어느 분야로 프로젝트를 시작할지 고민 되신다면 '컴퓨터 비전' 혹은 '자연어 처리' 프로젝트로 시작할 것을 추천드립니다. 다음은 포트폴리오와 관련해 작성한 제 트위터 스레드입니다:포트폴리오 아이디어 내는 법,포트폴리오 작성하는 법.
사람들이 가장 많이 실수하는 부분은 프로젝트 경험 대신 온라인 코스 수료증을 따는데 불필요한 시간을 투자하는 것입니다. 실무자들은 대개 온라인 코스 수료증을 신뢰하지 않습니다. 대신 저와 같이 인터넷을 통해 Deep Learning을 학습한 사람들은 다음과 같은 이력들로 자신의 지식을 증명할 수 있어야 합니다:
좋은 컨퍼런스에 논문 투고
ML 관련 경진대회에서 수상
유명한 오픈 소스 프로젝트에 PR을 통해 기여
ML 관련된 글로 5-10만 뷰 달성
매주 100명 이상이 사용하는 ML 툴 제작
ML 관련 직업
ML 아트
만약 아직도 좋은 첫 프로젝트에 대한 감이 잡히지 않는다면, Twitter 내 사람들에게 DM을 날려보세요. 여러분들께 영감을 주는 작업을 하는 사람들을 Twitter에서 찾아 당신이 지금까지 해온 것들과, 무엇을 달성하고 싶은지에 대해 이야기해보세요. 50-100명의 사람들에게 메시지를 보낸 후, 당신은 사람들이 얼마나 다른 사람들에게 도움을 주고 싶어하는지를 보고 놀라게 될 것입니다.
다만 제가 제시한 이전 과정들을 모두 성실하게 수행하고, 낯선 사람들에게 메시지를 보낼 때 지켜야 할 예절 등을 꼭 확인하고 접근하시길 바랍니다.
이론 101 [1 - 3 개월]
논문을 읽는 방법을 배우는 것은 여러분의 프로젝트를 개선하는데 분명 좋은 작용을 합니다. 특히, 여러분이 리서치 분야로 진출하고 싶다면 논문 읽기는 필수 과정이기도 하죠. 논문을 읽는데 어려움이 없으려면 다음 3가지 분야를 핵심적으로 이해하고 있어야 합니다:
가장 자주 사용되는 알고리즘, 경사 하강법, 선형회귀, 다중 퍼셉트론 등에 대한 이해
가장 자주 사용되는 50가지 수식에 대한 이해
선형대수, 미적분, 통계학 그리고 Machine Learning의 기본적인 이해
파이썬Numpy의 핵심 개념을 손으로 직접 코딩하는데 한 달을 할애합니다. 이때 최소자승법, 경사하강법, 선형회귀 그리고 Vanilla 신경망 등에 대한 코딩도 하셔야 합니다. 제겐 Andrew Trask의책과블로그가 해당 연습을 하기 가장 적합한 자료였습니다. 해당 연습은 여러분이 다음 과정을 수행함에 따라 발생하는 인지부하를 줄여줄 것입니다.
저는 Deep Learning 이론 커리큘럼에 있어 최고의 스텝은 Ian Goodfellow, Yoshua Bengio 그리고 Aaron Courville가 집필한Deep Learning Book을 읽는 것이라 생각합니다. 저는 해당 책을 교재 삼아 책에 담긴 모든 디테일들을 학습하기 위해 노력했습니다. 물론 해당 책을 읽기 전 최소 6개월의 실무 경험이나 수학/통계적 배경을 가지고 시작하는 것이 좋습니다.
책의 도입부에 등장하는 수식을 외우는 것은 여러분의 생각보다 아주 큰 도움이 됩니다. 수식은 아주 잘 짜여진 로직이고, 이를 어떻게 코드로 녹여낼지를 이해하는 것은 여러분이 이론을 보다 친숙하게 느낄 수 있도록 도와줄 것입니다. 만약 한 주라는 여가 시간이 있다면, 3Blue1Brown 채널의Essence of linear algebra,the Essence of Calculus, StatQuests 채널의the Basics (of statistics),Machine Learning과 같은 영상을 시청할 것을 추천드립니다. 이후 Anki와 같은 암기 어플리케이션을 활용해 핵심 개념을 외우는 것이 아주 큰 도움이 될 것입니다. 이때, 가능한 많은 그림 자료를 사용하는 것이 암기에 있어 더 큰 도움이 됩니다.
만약 여러분이 공부에 할애할 수 있는 시간이 2-3 개월 더 남았다면, Deep learning book의 파트 1을 읽는데 그 시간을 할애하세요. MachineLearningGod은 동영상을 통해 어떻게해당 책을 보다 잘 학습할 수 있는지에 대해 설명해주고 있습니다. 각종 개념들을 이해하기 위해 동영상 강의를 적극 활용하시고, Anki와 Khan academy 어플리케이션을 활용해 개념들을 암기 및 이해할 수 있도록 노력하세요.
연말연시 연휴를 맞이하여 #마키나락스 에서 연구하는 주제 중에 하나인 #이상탐지 (#AnomalyDetection) 에 대해서 블로그 포스팅 해보았습니다.
산업에서의 활용도와 중요도에 비해 이상탐지 문제는 많은 연구와 표준 연구 환경이 잘 정의되어 있지 않은 것 같습니다. -- 당장 이름부터 anomaly detection, outlier detection, novelty detection, out of distribution 등이 혼용되고 있습니다.
이번에는 [이상탐지의 문제 셋업에 대한 소개]와 [오토인코더를 활용한 이상탐지]에 대해서 다루었습니다. 앞으로 틈틈히 시간 날때마다 관련 분야에 대해서 포스팅 하도록 하겠습니다.
