State of the art in image manipulation (stylegan)
https://www.catalyzex.com/paper/arxiv:2102.02766

👇 Free extension to get code for ML papers (❤️' by Andrew Ng) Chrome: https://chrome.google.com/webstore/detail/find-code-for-research-pa/aikkeehnlfpamidigaffhfmgbkdeheil
Firefox: https://addons.mozilla.org/en-US/firefox/addon/code-finder-catalyzex

Posted by uniqueone
,

안녕하세요. 제 깃헙에 아래 첨부한 사진에 나오는 모델들을 개인 공부 차원으로 구현해 보았으니 필요하신 분들은 편하게 가져가세요~~~~

PS : Multi-Head Attention 기능도 포함 되어 있습니다.!
https://github.com/jk96491/Advanced_Models

jk96491/Advanced_Models

여러가지 유명한 신경망 모델들을 제공합니다. (DCGAN, VAE, Resnet 등등). Contribute to jk96491/Advanced_Models development by creating an account on GitHub.

github.com

러가지 유명한 신경망 모델들을 제공합니다.
제공 모델들 : DCGAN, CGAN, SA-GAN ,GAN, Resnet, VAE, Multi-Head Attention, GPT-2

Posted by uniqueone
,

안녕하세요, TensorFlow KR 여러분!

생성 모델(Generative Model)은 실제로는 존재하지 않지만, 있을법한 데이터를 만들 수 있는 모델을 의미합니다. 오늘은 현대 딥러닝 기반의 생성 모델에 큰 영향을 끼친 논문인 GAN(NIPS 2014)을 소개합니다. GAN은 특히 이미지 도메인에서의 많은 발전이 이루어져 특정한 도메인의 이미지(사람의 얼굴, 동물의 형체 등)를 생성하거나 수정하는 작업을 수월하게 만들어주고 있습니다.

사실 GAN은 나온 지 오래되어 너무 잘 알려진 논문이며 아이디어는 참 직관적이지만, 증명적인 내용은 딥러닝 입문자가 처음 읽기에는 난이도가 높다고 생각합니다. 고등학교 때 문과였던 저를 포함해 많은 개발자분에게는 논문에 적힌 수식을 이해하기가 어렵고, 고등학교 때 어렴풋이 배웠던 확률 분포 개념부터 헷갈려 헤맬 수 있습니다.

본 영상에서는 GAN 아이디어 및 수식에 대한 내용 요약, PyTorch로 MNIST 이미지 생성해보는 실습, NIPS 2014에 업로드된 GAN 논문 원서를 함께 읽어보는 내용을 한꺼번에 포함하고 있습니다. 생성 모델 쪽을 처음 공부하시는 분들에게 도움이 되었으면 좋겠습니다.

영상 링크:

Posted by uniqueone
,

안녕하세요, TensorFlow KR 여러분!
StarGAN 리뷰 및 코드 실습 영상을 만들어 공유합니다. 한 장의 사진을 업로드해서 성별/나이/머리색 정보를 바꿔볼 수 있습니다. (구글 Colab에서 실행해 볼 수 있도록 만들어 놓았으므로, 관심이 있으신 분은 바로 코드부터 돌려보셔도 됩니다.)

코드 실습: https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice/blob/master/code_practices/StarGAN_Tutorial.ipynb

StarGAN은 Image-to-image Translation 분야에서 유명하고 오래된 (나온 지 3년 정도 된) 논문으로 TensorFlow KR에 계신 많은 분이 알고 계실 Sung Kim 교수님, 주재걸 교수님이 참여한 논문(최윤제님의)이기도 합니다.

현재는 StarGAN v2가 있으므로... StarGAN v2를 리뷰하려고 했으나 양이 너무 많아질 것 같아서 StarGAN v1부터 리뷰합니다. 워낙 말주변이 없어서... 간단하게 편집도 했는데도 1시간 20분짜리가 나왔네요... 필요하신 분께 도움이 되었으면 좋겠습니다.

https://www.youtube.com/watch?v=-r9M4Cj9o_8

Posted by uniqueone
,

Its the time of the week ... new #PyTorch libraries:
FSGAN - Official PyTorch Implementation:
https://github.com/YuvalNirkin/fsgan

ARMORY Adversarial Robustness Evaluation Test Bed:
https://github.com/twosixlabs/armory

PyTorch framework for Deep Learning research and development:
https://github.com/catalyst-team/catalyst

A PyTorch impl of EfficientDet faithful to the original Google impl w/ ported weights:
https://github.com/rwightman/efficientdet-pytorch

Unofficial PyTorch Implementation of EvoNorm https://arxiv.org/pdf/2004.02967.pdf:
https://github.com/digantamisra98/EvoNorm

#datascientist #datascience #machinelearning #dl #deeplearning #ai #artificialintelligence

Posted by uniqueone
,

[GAN] GAN — GAN Series (from the beginning to the end)

GAN zoo 등은 GAN이 너무 많아 어떤 내용부터 봐야할지 모르겠다면, 이 글을 추천합니다.

- GAN 개요
- GAN 프로젝트 예시
- GAN | Improving network design
- GAN | Improving cost function
- 그외 여러 GAN Issue

라는 큰 주제로 글을 잘 정리해두었습니다. 저도 이 순서와 Jaejun Yoo's Playground님의 자료(http://jaejunyoo.blogspot.com/search/label/GAN)를 바탕으로 Keynote를 만들고 있습니다.

매일 읽으면 해당 논문들을 2020상반기까지 읽을 수 있겠죠?? :)
함께 Keep Going 합시다!!

link : https://medium.com/@jonathan_hui/gan-gan-series-2d279f906e7b

Posted by uniqueone
,

https://www.facebook.com/groups/847991005393886/permalink/1162345990625051/?sfnsn=mo아시는 분은 이미 아시겠지만 Nvidia의 StyleGAN v2 가 공개되었습니다. 전체적으로 generation 성능이 매우 개선되었습니다. 앞으로 발전이 더 기대가 되네요!

Video: [https://www.youtube.com/watch?v=c-NJtV9Jvp0](https://www.youtube.com/watch?v=c-NJtV9Jvp0)

Code: [https://github.com/NVlabs/stylegan2](https://github.com/NVlabs/stylegan2)

Paper: [https://arxiv.org/abs/1912.04958](https://arxiv.org/abs/1912.04958)

Posted by uniqueone
,
안녕하세요, TensorFlow KR 여러분, 저는 현재 AI를 활용한 이미지 변형을 이용해 작업을 제작 중에 있는 미술학도입니다.
TensorFlow KR 여러분들에게 제가 진행중인 작업에 관해 조언을 받고 싶어 이렇게 게시물을 통해 여쭈어봐요.
제가 하고 싶어하는 것은 UGATIT모델을 이용해 제가 갖고 있는 얼굴 이미지들과 제가 변형하여 만든 얼굴 이미지를 학습 시킨 뒤 관객이 자신의 얼굴을 웹캠에 가져다대면 제 형식대로 변형된 모습을 실시간으로 관람할 수 있게 하는 것입니다.
UGATIT 모델은 인물의 사진과 애니메이션 캐릭터 얼굴들을 학습 시킨 뒤, 인물의 사진을 애니메이션화하는데 적용되었던 모델이고 저는 김준호님께서 올려주신 https://github.com/taki0112/UGATIT 코드를 바탕으로 변형하여 진행하고자 해요.
첫 번째 궁금한 사항입니다. Input data를 Webcam에서 특정 시간(예를 들어 2초)을 주기로 받아진 이미지의 변형 된 결과 값만 화면에 보여주고 싶습니다. 혹시 이러한 코드 방식이 가능할지, 참조할 만한 자료 등이나 의견을 주신다면 감사하겠습니다!
두 번째 궁금한 사항은 제가 데스크탑에 연결시킨 웹캠을 이제 구매를 해야하는데, 라즈베리파이로 진행해본 적은 있는데 따로 데스크탑용 웹캠을 사용해본 적이 없거든요, 혹시 웹캠을 이용해 실시간 변환처리를 해보신 분들 중 이거 괜찮았다하는 웹캠이 있을까요? 추천 바랍니다
세 번째 궁금한 사항은, 제 컴퓨터의 GPU는 GTX 1070TI 입니다. 실시간 처리를 진행할 때 1070TI가 혹시 부족할까요? 혹시 GPU 성능이 부족하다고 하면 새로 구매하려고 합니다.

어떠한 의견과 조언도 환영합니다.

감사합니다.
https://www.facebook.com/groups/ReinforcementLearningKR/permalink/2328590640713496/?sfnsn=mo
Posted by uniqueone
,
https://github.com/sergeytulyakov/mocogan

 

 

MoCoGAN: Decomposing Motion and Content for Video Generation

This repository contains an implementation and further details of MoCoGAN: Decomposing Motion and Content for Video Generation by Sergey Tulyakov, Ming-Yu Liu, Xiaodong Yang, Jan Kautz.

Representation

MoCoGAN is a generative model for videos, which generates videos from random inputs. It features separated representations of motion and content, offering control over what is generated. For example, MoCoGAN can generate the same object performing different actions, as well as the same action performed by different objects

MoCoGAN Representation

Examples of generated videos

We trained MoCoGAN on the MUG Facial Expression Database to generate facial expressions. When fixing the content code and changing the motion code, it generated the same person performs different expressions. When fixing the motion code and changing the content code, it generated different people performs the same expression. In the figure shown below, each column has fixed identity, each row shows the same action:

Facial expressions

We trained MoCoGAN on a human action dataset where content is represented by the performer, executing several actions. When fixing the content code and changing the motion code, it generated the same person performs different actions. When fixing the motion code and changing the content code, it generated different people performs the same action. Each pair of images represents the same action executed by different people:

Human actions

We have collected a large-scale TaiChi dataset including 4.5K videos of TaiChi performers. Below are videos generated by MoCoGAN.

TaiChi

Training MoCoGAN

Please refer to a wiki page

Citation

If you use MoCoGAN in your research please cite our paper:

Sergey Tulyakov, Ming-Yu Liu, Xiaodong Yang, Jan Kautz, "MoCoGAN: Decomposing Motion and Content for Video Generation"

Posted by uniqueone
,