Be the only one, not the best one

안녕하세요 FAIR에서 일하고 있는 주한별입니다. 이번에 CVPR oral에 발표될 PIFuHD라는 논문을 소개해드립니다. 이미지 한장으로 사람의 3D를 복원하는 연구인데, 제가 진행해봤던 연구중에 결과가 가장 신기(?)했던 연구라서 shamelessly 공유합니다. 뒷모습도 복원이 됩니다. 공유하는 동영상은 각 frame을 따로 processing한 결과입니다.

Paper: https://arxiv.org/pdf/2004.00452.pdf

Code: https://github.com/facebookresearch/pifuhd

Project page: https://shunsukesaito.github.io/PIFuHD/

Colab demo: https://colab.research.google.com/drive/11z58bl3meSzo6kFqkahMa35G5jmh2Wgt

Colab demo를 통해 직접 사진을 업로드 하고 3D복원 결과를 볼수 있습니다. 혹시 재미있는 결과를 얻으셨다면 FB이나 Twitter로 공유해주시면 (#pifuhd) 다음 연구진행할때 적극 참고하겠습니다...!

Latest from Microsoft researchers: Recovering the 3D geometry of human head from a single portrait image

For project and code/API/expert requests: https://www.catalyzex.com/paper/arxiv:2004.11598

method is learned in an unsupervised manner without any ground-truth 3D data.

Interesting Research!!!
S2IGAN — Speech-to-Image Generation via Adversarial Learning

Authors present a framework that translates speech to images bypassing text information, thus allowing unwritten languages to potentially benefit from this technology.

ArXiV: https://arxiv.org/abs/2005.06968
Project: https://xinshengwang.github.io/project/s2igan/

TF와 keras를 통해 supervised learning을 해보고있는 머린이입니다.

혹시 A라벨의 데이터와 B라벨의 데이터로 학습을 시킨다음 두 라벨의 데이가 아닌 C라벨의 데이터를 넣으면 A또는 B가 아님! 으로 만들수있는 방법이 존재할까요?

예를들어 개 / 고양이를 판단할 수 있게 학습된 네트워크에 개미를 집어넣으면 개/고양이가 아닌 무언가 라고 판단을 시키고싶습니다.!


헉.. 제 레포를 추천해주셔서 감사합니다!! 위에 적어주신 내용이 딱 Out-of-distribution detection 문제이며, 이 문제에 대해 자세히 정리한 글이 있는데, 이 글을 참고하시면 좋을 것 같습니다.

https://hoya012.github.io/blog/anomaly-detection-overview-2/

이미지 classification를 수행하는 네트워크의 최신 동향은 어떻게 되나요?

이미지 Detection관련 네트워크나 기술 설명은 많이 나오는데 분류 문제는 잘 연구가 안되고(=끝났는지) 있는지 정보가 별로 없네요.

추천할만한 또는 최근에 나온 이미지 분류 네트워크 아시면 알려 주세요.


EfficientNet이 최근 연구중에 가장 괄목할만한 성능을 보여주었고, 그 뒤로 RegNet, TResNet 등 간헐적으로 architecture 연구가 진행이 되고 있는데, 이제 거의 끝물인것 같네요. 성능을 올리기 위해 architecture를 쥐어짜내는 시기는 지난 것 같고, 이제는 어떻게 대용량의 데이터를 잘 처리할지, 어떻게 무수히 많은 unlabeled 데이터셋을 활용하여 성능을 높일지 등을 풀고 있다고 보면 될 것 같습니다.