https://handong1587.github.io/deep_learning/2015/10/09/dl-resources.html

ImageNet

AlexNet

ImageNet Classification with Deep Convolutional Neural Networks

• nips-page: http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-
• paper: http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
• slides: http://www.image-net.org/challenges/LSVRC/2012/supervision.pdf
• code: https://code.google.com/p/cuda-convnet/
• github: https://github.com/dnouri/cuda-convnet
• code: https://code.google.com/p/cuda-convnet2/

Network In Network

Network In Network

• arxiv: http://arxiv.org/abs/1312.4400
• gitxiv: http://gitxiv.com/posts/PA98qGuMhsijsJzgX/network-in-network-nin

Batch-normalized Maxout Network in Network

• arxiv: http://arxiv.org/abs/1511.02583

GoogLeNet

Going Deeper with Convolutions

• arxiv: http://arxiv.org/abs/1409.4842
• github: https://github.com/google/inception
• github: https://github.com/soumith/inception.torch

Building a deeper understanding of images

• blog: http://googleresearch.blogspot.jp/2014/09/building-deeper-understanding-of-images.html

VGGNet

Very Deep Convolutional Networks for Large-Scale Image Recognition

• homepage: http://www.robots.ox.ac.uk/~vgg/research/very_deep/
• arxiv: http://arxiv.org/abs/1409.1556
• slides: http://llcao.net/cu-deeplearning15/presentation/cc3580_Simonyan.pptx
• slides: http://www.robots.ox.ac.uk/~karen/pdf/ILSVRC_2014.pdf
• slides: http://deeplearning.cs.cmu.edu/slides.2015/25.simonyan.pdf

Tensorflow VGG16 and VGG19

• github: https://github.com/machrisaa/tensorflow-vgg

Inception-V2 / Inception-V3

Inception-V3 = Inception-V2 + BN-auxiliary (fully connected layer of the auxiliary classifier is also batch-normalized, not just the convolutions)

Rethinking the Inception Architecture for Computer Vision

• intro: “21.2% top-1 and 5.6% top-5 error for single frame evaluation using a network; 3.5% top-5 error and 17.3% top-1 error With an ensemble of 4 models and multi-crop evaluation.”
• arxiv: http://arxiv.org/abs/1512.00567
• github(Torch): https://github.com/Moodstocks/inception-v3.torch
• github(TensorFlow): https://github.com/tensorflow/models/tree/master/inception#how-to-train-from-scratch-in-a-distributed-setting

Notes on the TensorFlow Implementation of Inception v3

https://pseudoprofound.wordpress.com/2016/08/28/notes-on-the-tensorflow-implementation-of-inception-v3/

Training an InceptionV3-based image classifier with your own dataset

• github: https://github.com/danielvarga/keras-finetuning

ResNet

Deep Residual Learning for Image Recognition

• arxiv: http://arxiv.org/abs/1512.03385
• slides: http://research.microsoft.com/en-us/um/people/kahe/ilsvrc15/ilsvrc2015_deep_residual_learning_kaiminghe.pdf
• gitxiv: http://gitxiv.com/posts/LgPRdTY3cwPBiMKbm/deep-residual-learning-for-image-recognition
• github: https://github.com/KaimingHe/deep-residual-networks
• github: https://github.com/alrojo/lasagne_residual_network
• github: https://github.com/shuokay/resnet
• github: https://github.com/gcr/torch-residual-networks
• github: https://github.com/apark263/cfmz
• github: https://github.com/NervanaSystems/neon/blob/master/examples/cifar10_msra.py
• github: https://github.com/facebook/fb.resnet.torch
• github: https://github.com/yasunorikudo/chainer-ResNet
• github: https://github.com/raghakot/keras-resnet
• github: https://github.com/ry/tensorflow-resnet

Third-party re-implementations

https://github.com/KaimingHe/deep-residual-networks#third-party-re-implementations

Training and investigating Residual Nets

http://torch.ch/blog/2016/02/04/resnets.html

Highway Networks and Deep Residual Networks

• blog: http://yanran.li/peppypapers/2016/01/10/highway-networks-and-deep-residual-networks.html

Interpretating Deep Residual Learning Blocks as Locally Recurrent Connections

• blog: https://matrixmashing.wordpress.com/2016/01/29/interpretating-deep-residual-learning-blocks-as-locally-recurrent-connections/

Resnet in Resnet: Generalizing Residual Architectures

• paper: http://beta.openreview.net/forum?id=lx9l4r36gU2OVPy8Cv9g
• arxiv: http://arxiv.org/abs/1603.08029

ResNet-v2

Identity 89Mappings in Deep Residual Networks

• intro: ECCV 2016. ResNet-v2
• arxiv: http://arxiv.org/abs/1603.05027
• github: https://github.com/KaimingHe/resnet-1k-layers
• github: https://github.com/bazilas/matconvnet-ResNet
• github: https://github.com/FlorianMuellerklein/Identity-Mapping-ResNet-Lasagne
• github: https://github.com/tornadomeet/ResNet

Residual Networks are Exponential Ensembles of Relatively Shallow Networks

• arxiv: http://arxiv.org/abs/1605.06431

Wide Residual Networks

• intro: BMVC 2016
• arxiv: http://arxiv.org/abs/1605.07146
• github: https://github.com/szagoruyko/wide-residual-networks
• github: https://github.com/asmith26/wide_resnets_keras

Deep Residual Networks for Image Classification with Python + NumPy

• blog: https://dnlcrl.github.io/projects/2016/06/22/Deep-Residual-Networks-for-Image-Classification-with-Python+NumPy.html

Residual Networks of Residual Networks: Multilevel Residual Networks

• arxiv: http://arxiv.org/abs/1608.02908

Inception-V4

Inception-V4, Inception-Resnet And The Impact Of Residual Connections On Learning

• intro: Workshop track - ICLR 2016
• intro: “achieve 3.08% top-5 error on the test set of the ImageNet classification (CLS) challenge”
• arxiv: http://arxiv.org/abs/1602.07261
• github: https://github.com/lim0606/torch-inception-resnet-v2

Inception-ResNet-v2

Striving for Simplicity: The All Convolutional Net

• arxiv: http://arxiv.org/abs/1412.6806

Systematic evaluation of CNN advances on the ImageNet

• arxiv: http://arxiv.org/abs/1606.02228
• github: https://github.com/ducha-aiki/caffenet-benchmark

Deep Learning And Bayesian

Scalable Bayesian Optimization Using Deep Neural Networks

• intro: ICML 2015
• paper: http://jmlr.org/proceedings/papers/v37/snoek15.html
• arxiv: http://arxiv.org/abs/1502.05700
• github: https://github.com/bshahr/torch-dngo

Bayesian Dark Knowledge

• paper: http://arxiv.org/abs/1506.04416
• notes: Notes on Bayesian Dark Knowledge

Memory-based Bayesian Reasoning with Deep Learning

• intro: Google DeepMind
• slides: http://blog.shakirm.com/wp-content/uploads/2015/11/CSML_BayesDeep.pdf

Towards Bayesian Deep Learning: A Survey

• arxiv: http://arxiv.org/abs/1604.01662

Towards Bayesian Deep Learning: A Framework and Some Existing Methods

• intro: IEEE Transactions on Knowledge and Data Engineering (TKDE), 2016
• arxiv: http://arxiv.org/abs/1608.06884

Autoencoders

Auto-Encoding Variational Bayes

• arxiv: http://arxiv.org/abs/1312.6114

The Potential Energy of an Autoencoder

• intro: PAMI 2014
• paper: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.698.4921&rep=rep1&type=pdf

Importance Weighted Autoencoders

• paper: http://arxiv.org/abs/1509.00519
• github: https://github.com/yburda/iwae

Review of Auto-Encoders

• intro: Piotr Mirowski, Microsoft Bing London, 2014
• slides: https://piotrmirowski.files.wordpress.com/2014/03/piotrmirowski_2014_reviewautoencoders.pdf
• github: https://github.com/piotrmirowski/Tutorial_AutoEncoders/

Stacked What-Where Auto-encoders

• arxiv: http://arxiv.org/abs/1506.02351

Ladder Variational Autoencoders How to Train Deep Variational Autoencoders and Probabilistic Ladder Networks

• arxiv:http://arxiv.org/abs/1602.02282
• github: https://github.com/casperkaae/LVAE

Rank Ordered Autoencoders

• arxiv: http://arxiv.org/abs/1605.01749
• github: https://github.com/paulbertens/rank-ordered-autoencoder

Decoding Stacked Denoising Autoencoders

• arxiv: http://arxiv.org/abs/1605.02832

Keras autoencoders (convolutional/fcc)

• github: https://github.com/nanopony/keras-convautoencoder

Building Autoencoders in Keras

• blog: http://blog.keras.io/building-autoencoders-in-keras.html

Review of auto-encoders

• intro: Tutorial code for Auto-Encoders, implementing Marc’Aurelio Ranzato’s Sparse Encoding Symmetric Machine and testing it on the MNIST handwritten digits data.
• paper: https://github.com/piotrmirowski/Tutorial_AutoEncoders/blob/master/PiotrMirowski_2014_ReviewAutoEncoders.pdf
• github: https://github.com/piotrmirowski/Tutorial_AutoEncoders

Autoencoders: Torch implementations of various types of autoencoders

• intro: AE / SparseAE / DeepAE / ConvAE / UpconvAE / DenoisingAE / VAE / AdvAE
• github: https://github.com/Kaixhin/Autoencoders

Tutorial on Variational Autoencoders

• arxiv: http://arxiv.org/abs/1606.05908
• github: https://github.com/cdoersch/vae_tutorial

Variational Autoencoders Explained

• blog: http://kvfrans.com/variational-autoencoders-explained/
• github: https://github.com/kvfrans/variational-autoencoder

Introducing Variational Autoencoders (in Prose and Code)

• blog: http://blog.fastforwardlabs.com/post/148842796218/introducing-variational-autoencoders-in-prose-and

Under the Hood of the Variational Autoencoder (in Prose and Code)

• blog: http://blog.fastforwardlabs.com/post/149329060653/under-the-hood-of-the-variational-autoencoder-in

The Unreasonable Confusion of Variational Autoencoders

• blog: https://jaan.io/unreasonable-confusion/

Semi-Supervised Learning

Semi-Supervised Learning with Graphs (Label Propagation)

• paper: http://pages.cs.wisc.edu/~jerryzhu/pub/thesis.pdf
• blog(“标签传播算法（Label Propagation）及Python实现”): http://blog.csdn.net/zouxy09/article/details/49105265

Semi-Supervised Learning with Ladder Networks

• arxiv: http://arxiv.org/abs/1507.02672
• github: https://github.com/CuriousAI/ladder

Semi-supervised Feature Transfer: The Practical Benefit of Deep Learning Today?

• blog: http://www.kdnuggets.com/2016/07/semi-supervised-feature-transfer-deep-learning.html

Unsupervised Learning

Restricted Boltzmann Machine (RBM), Sparse Coding and Auto-encoder

On Random Weights and Unsupervised Feature Learning

• intro: ICML 2011
• paper: http://www.robotics.stanford.edu/~ang/papers/icml11-RandomWeights.pdf

Unsupervised Learning of Spatiotemporally Coherent Metrics

• paper: http://arxiv.org/abs/1412.6056
• code: https://github.com/jhjin/flattened-cnn

Unsupervised Visual Representation Learning by Context Prediction

• intro: ICCV 2015
• homepage: http://graphics.cs.cmu.edu/projects/deepContext/
• arxiv: http://arxiv.org/abs/1505.05192
• github: https://github.com/cdoersch/deepcontext

Unsupervised Learning on Neural Network Outputs

• intro: “use CNN trained on the ImageNet of 1000 classes to the ImageNet of over 20000 classes”
• arxiv: http://arxiv.org/abs/1506.00990
• github: https://github.com/yaolubrain/ULNNO

Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles

• arxiv: http://arxiv.org/abs/1603.09246
• notes: http://www.inference.vc/notes-on-unsupervised-learning-of-visual-representations-by-solving-jigsaw-puzzles/

Clustering

Joint Unsupervised Learning of Deep Representations and Image Clusters

• intro: CVPR 2016
• arxiv: https://arxiv.org/abs/1604.03628
• github(Torch): https://github.com/jwyang/joint-unsupervised-learning

Single-Channel Multi-Speaker Separation using Deep Clustering

• arxiv: http://arxiv.org/abs/1607.02173

Deep Embedded Clustering (DEC)

Unsupervised Deep Embedding for Clustering Analysis

• intro: ICML 2016
• arxiv: https://arxiv.org/abs/1511.06335
• github: https://github.com/piiswrong/dec

Transfer Learning

How transferable are features in deep neural networks?

-intro: NIPS 2014 - arxiv: http://arxiv.org/abs/1411.1792

Learning and Transferring Mid-Level Image Representations using Convolutional Neural Networks

• paper: http://research.microsoft.com/pubs/214307/paper.pdf

Simultaneous Deep Transfer Across Domains and Tasks

• arxiv: http://arxiv.org/abs/1510.02192

Net2Net: Accelerating Learning via Knowledge Transfer

• arxiv: http://arxiv.org/abs/1511.05641
• github: https://github.com/soumith/net2net.torch
• notes(by Hugo Larochelle): https://www.evernote.com/shard/s189/sh/46414718-9663-440e-bbb7-65126b247b42/19688c438709251d8275d843b8158b03

Transfer Learning from Deep Features for Remote Sensing and Poverty Mapping

• arxiv: http://arxiv.org/abs/1510.00098

A theoretical framework for deep transfer learning

• key words: transfer learning, PAC learning, PAC-Bayesian, deep learning
• homepage: http://imaiai.oxfordjournals.org/content/early/2016/04/28/imaiai.iaw008
• paper: http://imaiai.oxfordjournals.org/content/early/2016/04/28/imaiai.iaw008.full.pdf

Transfer learning using neon

• blog: http://www.nervanasys.com/transfer-learning-using-neon/

Hyperparameter Transfer Learning through Surrogate Alignment for Efficient Deep Neural Network Training

• arxiv: http://arxiv.org/abs/1608.00218

What makes ImageNet good for transfer learning?

• project page: http://minyounghuh.com/papers/analysis/
• arxiv: http://arxiv.org/abs/1608.08614

Multi-label Learning

CNN: Single-label to Multi-label

• arxiv: http://arxiv.org/abs/1406.5726

Deep Learning for Multi-label Classification

• arxiv: http://arxiv.org/abs/1502.05988
• github: http://meka.sourceforge.net

Predicting Unseen Labels using Label Hierarchies in Large-Scale Multi-label Learning(ECML2015)

• paper: https://www.kdsl.tu-darmstadt.de/fileadmin/user_upload/Group_KDSL/PUnL_ECML2015_camera_ready.pdf

Learning with a Wasserstein Loss

• project page: http://cbcl.mit.edu/wasserstein/
• arxiv: http://arxiv.org/abs/1506.05439
• code: http://cbcl.mit.edu/wasserstein/yfcc100m_labels.tar.gz
• MIT news: http://news.mit.edu/2015/more-flexible-machine-learning-1001

From Softmax to Sparsemax: A Sparse Model of Attention and Multi-Label Classification

• intro: ICML 2016
• arxiv: http://arxiv.org/abs/1602.02068
• github: https://github.com/gokceneraslan/SparseMax.torch

CNN-RNN: A Unified Framework for Multi-label Image Classification

• arxiv: http://arxiv.org/abs/1604.04573

Improving Multi-label Learning with Missing Labels by Structured Semantic Correlations

• arxiv: http://arxiv.org/abs/1608.01441

Multi-task Learning

Multitask Learning / Domain Adaptation

• homepage: http://www.cs.cornell.edu/~kilian/research/multitasklearning/multitasklearning.html

multi-task learning

• discussion: https://github.com/memect/hao/issues/93

OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks

• intro: training a convolutional network to simultaneously classify, locate and detect objects in images can boost the classification accuracy and the detection and localization accuracy of all tasks
• arxiv: http://arxiv.org/abs/1312.6229
• github: https://github.com/sermanet/OverFeat
• code: http://cilvr.nyu.edu/doku.php?id=software:overfeat:start

Learning and Transferring Multi-task Deep Representation for Face Alignment

• arxiv: http://arxiv.org/abs/1408.3967

Multi-task learning of facial landmarks and expression

• paper: http://www.uoguelph.ca/~gwtaylor/publications/gwtaylor_crv2014.pdf

Heterogeneous multi-task learning for human pose estimation with deep convolutional neural network

• paper: www.cv-foundation.org/openaccess/content_cvpr_workshops_2014/W15/papers/LI_Heterogeneous_Multi-task_Learning_2014_CVPR_paper.pdf

Deep Joint Task Learning for Generic Object Extraction

• intro: NIPS 2014
• homepage: http://vision.sysu.edu.cn/projects/deep-joint-task-learning/
• paper: http://ss.sysu.edu.cn/~ll/files/NIPS2014_JointTask.pdf
• github: https://github.com/xiaolonw/nips14_loc_seg_testonly
• dataset: http://objectextraction.github.io/

Multi-Task Deep Visual-Semantic Embedding for Video Thumbnail Selection

• intro: CVPR 2015
• paper: http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Liu_Multi-Task_Deep_Visual-Semantic_2015_CVPR_paper.pdf

Learning deep representation of multityped objects and tasks

• arxiv: http://arxiv.org/abs/1603.01359

Cross-stitch Networks for Multi-task Learning

• arxiv: http://arxiv.org/abs/1604.03539

Multi-Task Learning in Tensorflow (Part 1)

• blog: https://jg8610.github.io/Multi-Task/

一箭N雕：多任务深度学习实战

• intro: 薛云峰 深度学习大讲堂
• blog: http://mp.weixin.qq.com/s?__biz=MzI1NTE4NTUwOQ==&mid=2650325281&idx=1&sn=97779ff0da06190d6a71d33f23e9dede#rd

Multi-modal Learning

Multimodal Deep Learning

• paper: http://ai.stanford.edu/~ang/papers/nipsdlufl10-MultimodalDeepLearning.pdf

Multimodal Convolutional Neural Networks for Matching Image and Sentence

• homepage: http://mcnn.noahlab.com.hk/project.html
• paper: http://mcnn.noahlab.com.hk/ICCV2015.pdf
• arxiv: http://arxiv.org/abs/1504.06063

A C++ library for Multimodal Deep Learning

• arxiv: http://arxiv.org/abs/1512.06927
• github: https://github.com/Jian-23/Deep-Learning-Library

Multimodal Learning for Image Captioning and Visual Question Answering

• slides: http://research.microsoft.com/pubs/264769/UCB_XiaodongHe.6.pdf

Multi modal retrieval and generation with deep distributed models

• slides: http://www.slideshare.net/roelofp/multi-modal-retrieval-and-generation-with-deep-distributed-models
• slides: http://pan.baidu.com/s/1kUSjn4z

Learning Aligned Cross-Modal Representations from Weakly Aligned Data

• homepage: http://projects.csail.mit.edu/cmplaces/index.html
• paper: http://projects.csail.mit.edu/cmplaces/content/paper.pdf

Variational methods for Conditional Multimodal Deep Learning

• arxiv: http://arxiv.org/abs/1603.01801

Debugging Deep Learning

Some tips for debugging deep learning

• blog: http://www.lab41.org/some-tips-for-debugging-in-deep-learning-2/

Introduction to debugging neural networks

• blog: http://russellsstewart.com/notes/0.html
• reddit: https://www.reddit.com/r/MachineLearning/comments/4du7gv/introduction_to_debugging_neural_networks

How to Visualize, Monitor and Debug Neural Network Learning

• blog: http://deeplearning4j.org/visualization

Adversarial Examples of Deep Learning

Intriguing properties of neural networks

• arxiv: http://arxiv.org/abs/1312.6199
• my notes: In each layer of a deep network it is the “direction” of “space” (ensemble of feature activations) which encodes useful class information rather than individual units (feature activations).

Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images

• arxiv: http://arxiv.org/abs/1412.1897
• github: https://github.com/Evolving-AI-Lab/fooling/

Explaining and Harnessing Adversarial Examples

• intro: primary cause of neural networks’ vulnerability to adversarial perturbation is their linear nature
• arxiv: http://arxiv.org/abs/1412.6572

Distributional Smoothing with Virtual Adversarial Training

• arxiv: http://arxiv.org/abs/1507.00677
• github: https://github.com/takerum/vat

Confusing Deep Convolution Networks by Relabelling

• arxiv: http://arxiv.org/abs/1510.06925v1

Exploring the Space of Adversarial Images

• arxiv: http://arxiv.org/abs/1510.05328
• github: https://github.com/tabacof/adversarial

Learning with a Strong Adversary

• arxiv: http://arxiv.org/abs/1511.03034

Adversarial examples in the physical world

• author: Alexey Kurakin, Ian Goodfellow, Samy Bengio. Google Brain & OpenAI
• arxiv: http://arxiv.org/abs/1607.02533

DeepFool

DeepFool: a simple and accurate method to fool deep neural networks

• arxiv: http://arxiv.org/abs/1511.04599
• github: https://github.com/LTS4/DeepFool

Adversarial Autoencoders

• arxiv: http://arxiv.org/abs/1511.05644
• slides: https://docs.google.com/presentation/d/1Lyp91JOSzXo0Kk8gPdgyQUDuqLV_PnSzJh7i5c8ZKjs/edit?pref=2&pli=1
• notes(by Dustin Tran): http://dustintran.com/blog/adversarial-autoencoders/
• TFD manifold: http://www.comm.utoronto.ca/~makhzani/adv_ae/tfd.gif
• SVHN style manifold: http://www.comm.utoronto.ca/~makhzani/adv_ae/svhn.gif

Understanding Adversarial Training: Increasing Local Stability of Neural Nets through Robust Optimization

• arxiv: http://arxiv.org/abs/1511.05432
• github: https://github.com/yutaroyamada/RobustTraining

(Deep Learning’s Deep Flaws)’s Deep Flaws (By Zachary Chase Lipton)

• blog: http://www.kdnuggets.com/2015/01/deep-learning-flaws-universal-machine-learning.html

Deep Learning Adversarial Examples – Clarifying Misconceptions

• intro: By Ian Goodfellow, Google
• blog: http://www.kdnuggets.com/2015/07/deep-learning-adversarial-examples-misconceptions.html

Adversarial Machines: Fooling A.Is (and turn everyone into a Manga)

• blog: https://medium.com/@samim/adversarial-machines-998d8362e996#.iv3muefgt

How to trick a neural network into thinking a panda is a vulture

• blog: https://codewords.recurse.com/issues/five/why-do-neural-networks-think-a-panda-is-a-vulture

Deep Learning Networks

PCANet: A Simple Deep Learning Baseline for Image Classification?

• arixv: http://arxiv.org/abs/1404.3606
• code(Matlab): http://mx.nthu.edu.tw/~tsunghan/download/PCANet_demo_pyramid.rar
• mirror: http://pan.baidu.com/s/1mg24b3a
• github(C++): https://github.com/Ldpe2G/PCANet

Deeply-supervised Nets (DSN)

• arxiv: http://arxiv.org/abs/1409.5185
• homepage: http://vcl.ucsd.edu/~sxie/2014/09/12/dsn-project/
• github: https://github.com/s9xie/DSN
• notes: http://zhangliliang.com/2014/11/02/paper-note-dsn/

Striving for Simplicity: The All Convolutional Net

• arxiv: http://arxiv.org/abs/1412.6806

Pointer Networks

• arxiv: https://arxiv.org/abs/1506.03134
• github: https://github.com/vshallc/PtrNets
• notes: https://github.com/dennybritz/deeplearning-papernotes/blob/master/notes/pointer-networks.md

Rectified Factor Networks

• arxiv: http://arxiv.org/abs/1502.06464
• github: https://github.com/untom/librfn

FlowNet: Learning Optical Flow with Convolutional Networks

• arxiv: http://arxiv.org/abs/1504.06852

Correlational Neural Networks

• arxiv: http://arxiv.org/abs/1504.07225
• github: https://github.com/apsarath/CorrNet

Diversity Networks

• arxiv: http://arxiv.org/abs/1511.05077

A Unified Approach for Learning the Parameters of Sum-Product Networks (SPN)

• intro: “The Sum-Product Network (SPN) is a new type of machine learning model with fast exact probabilistic inference over many layers.”
• arxiv: http://arxiv.org/abs/1601.00318
• homepage: http://spn.cs.washington.edu/index.shtml
• code: http://spn.cs.washington.edu/code.shtml

Recombinator Networks: Learning Coarse-to-Fine Feature Aggregation

• arxiv: http://arxiv.org/abs/1511.07356
• github: https://github.com/SinaHonari/RCN

Dynamic Capacity Networks

• intro: ICML 2016
• arxiv: http://arxiv.org/abs/1511.07838
• github(Tensorflow): https://github.com/beopst/dcn.tf
• review: http://www.erogol.com/1314-2/

Bitwise Neural Networks

• paper: http://paris.cs.illinois.edu/pubs/minje-icmlw2015.pdf
• demo: http://minjekim.com/demo_bnn.html

Learning Discriminative Features via Label Consistent Neural Network

• arxiv: http://arxiv.org/abs/1602.01168

A Theory of Generative ConvNet

• project page: http://www.stat.ucla.edu/~ywu/GenerativeConvNet/main.html
• arxiv: http://arxiv.org/abs/1602.03264
• code: http://www.stat.ucla.edu/~ywu/GenerativeConvNet/doc/code.zip

Value Iteration Networks

• arxiv: http://arxiv.org/abs/1602.02867
• notes(by Andrej Karpathy): https://github.com/karpathy/paper-notes/blob/master/vin.md

How to Train Deep Variational Autoencoders and Probabilistic Ladder Networks

• arxiv: http://arxiv.org/abs/1602.02282

Group Equivariant Convolutional Networks (G-CNNs)

• arxiv: http://arxiv.org/abs/1602.07576

Deep Spiking Networks

• arxiv: http://arxiv.org/abs/1602.08323
• github: https://github.com/petered/spiking-mlp

Low-rank passthrough neural networks

• arxiv: http://arxiv.org/abs/1603.03116
• github: https://github.com/Avmb/lowrank-gru

XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

• arxiv: http://arxiv.org/abs/1603.05279
• github(Torch): https://github.com/mrastegari/XNOR-Net

Deeply-Fused Nets

• arxiv: http://arxiv.org/abs/1605.07716

SNN: Stacked Neural Networks

• arxiv: http://arxiv.org/abs/1605.08512

Convolutional Neural Fabrics

• arxiv: http://arxiv.org/abs/1606.02492

Holistic SparseCNN: Forging the Trident of Accuracy, Speed, and Size

• arxiv: http://arxiv.org/abs/1608.01409

Factorized Convolutional Neural Networks

• arxiv: http://arxiv.org/abs/1608.04337

Mollifying Networks

• author: Caglar Gulcehre, Marcin Moczulski, Francesco Visin, Yoshua Bengio
• arxiv: http://arxiv.org/abs/1608.04980

Local Binary Convolutional Neural Networks

• arxiv: http://arxiv.org/abs/1608.06049

DenseNet

Densely Connected Convolutional Networks

• arxiv: http://arxiv.org/abs/1608.06993
• github: https://github.com/liuzhuang13/DenseNet

CliqueCNN: Deep Unsupervised Exemplar Learning

• arxiv: http://arxiv.org/abs/1608.08792

Convexified Convolutional Neural Networks

• arxiv: http://arxiv.org/abs/1609.01000

Highway Networks

Highway Networks

• arxiv: http://arxiv.org/abs/1505.00387
• blog(“Highway Networks with TensorFlow”): https://medium.com/jim-fleming/highway-networks-with-tensorflow-1e6dfa667daa#.71fgztsb6

Very Deep Learning with Highway Networks

• homepage(papers+code+FAQ): http://people.idsia.ch/~rupesh/very_deep_learning/

Training Very Deep Networks (highway networks)

• arxiv: http://arxiv.org/abs/1507.06228

Spatial Transformer Networks

Spatial Transformer Networks

• intro: NIPS 2015
• arxiv: http://arxiv.org/abs/1506.02025
• gitxiv: http://gitxiv.com/posts/5WTXTLuEA4Hd8W84G/spatial-transformer-networks
• github: https://github.com/daerduoCarey/SpatialTransformerLayer
• github: https://github.com/qassemoquab/stnbhwd
• github: https://github.com/skaae/transformer_network
• github(Caffe): https://github.com/happynear/SpatialTransformerLayer
• github: https://github.com/daviddao/spatial-transformer-tensorflow
• caffe-issue: https://github.com/BVLC/caffe/issues/3114
• code: https://lasagne.readthedocs.org/en/latest/modules/layers/special.html#lasagne.layers.TransformerLayer
• ipn(Lasagne): http://nbviewer.jupyter.org/github/Lasagne/Recipes/blob/master/examples/spatial_transformer_network.ipynb
• notes: https://www.evernote.com/shard/s189/sh/ad8a38de-9e98-4e06-b09e-574bd62893ff/32f72798c095dd7672f4cb017a32d9b4
• youtube: https://www.youtube.com/watch?v=6NOQC_fl1hQ

The power of Spatial Transformer Networks

• blog: http://torch.ch/blog/2015/09/07/spatial_transformers.html
• github: https://github.com/moodstocks/gtsrb.torch

Recurrent Spatial Transformer Networks

• paper: http://arxiv.org/abs/1509.05329

Deep Learning with Traditional Machine Learning Methods

Cascade

Compact Convolutional Neural Network Cascade for Face Detection

• arxiv: http://arxiv.org/abs/1508.01292
• github: https://github.com/Bkmz21/FD-Evaluation

Bag of Words (BoW)

Deep Learning Transcends the Bag of Words

• blog: http://www.kdnuggets.com/2015/12/deep-learning-outgrows-bag-words-recurrent-neural-networks.html

Bootstrap

Training Deep Neural Networks on Noisy Labels with Bootstrapping

• arxiv: http://arxiv.org/abs/1412.6596

Decision Tree

Neural Network and Decision Tree

• blog: http://rotationsymmetry.github.io/2015/07/18/neural-network-decision-tree/

Decision Forests, Convolutional Networks and the Models in-Between

• arxiv: http://arxiv.org/abs/1603.01250
• notes: http://blog.csdn.net/stdcoutzyx/article/details/50993124

SVM

Large-scale Learning with SVM and Convolutional for Generic Object Categorization

• paper: http://yann.lecun.com/exdb/publis/pdf/huang-lecun-06.pdf

Convolutional Neural Support Vector Machines:Hybrid Visual Pattern Classifiers for Multi-robot Systems

• paper: http://people.idsia.ch/~nagi/conferences/idsia/icmla2012.pdf

Deep Learning using Linear Support Vector Machines

• paper: http://deeplearning.net/wp-content/uploads/2013/03/dlsvm.pdf

Deep Learning and Robots

Robot Learning Manipulation Action Plans by “Watching” Unconstrained Videos from the World Wide Web

• intro: AAAI 2015
• paper: http://www.umiacs.umd.edu/~yzyang/paper/YouCookMani_CameraReady.pdf
• author page: http://www.umiacs.umd.edu/~yzyang/

Robots that can adapt like animals (Nature 2014)

• arxiv: http://arxiv.org/abs/1407.3501
• code: http://pages.isir.upmc.fr/~mouret/code/ite_source_code.tar.gz
• github(for Bayesian optimization): http://github.com/jbmouret/limbo

End-to-End Training of Deep Visuomotor Policies

• arxiv: http://arxiv.org/abs/1504.00702

Comment on Open AI’s Efforts to Robot Learning

• blog: https://gridworld.wordpress.com/2016/07/28/comment-on-open-ais-efforts-to-robot-learning/

The Curious Robot: Learning Visual Representations via Physical Interactions

• arxiv: http://arxiv.org/abs/1604.01360

Deep Learning on Mobile Devices

Convolutional neural networks on the iPhone with VGGNet

• blog: http://matthijshollemans.com/2016/08/30/vggnet-convolutional-neural-network-iphone/
• github: https://github.com/hollance/VGGNet-Metal

Deep Learning in Finance

Deep Learning in Finance

• arxiv: http://arxiv.org/abs/1602.06561

A Survey of Deep Learning Techniques Applied to Trading

• blog: http://gregharris.info/a-survey-of-deep-learning-techniques-applied-to-trading/

Applications

Some like it hot - visual guidance for preference prediction

• arxiv: http://arxiv.org/abs/1510.07867
• demo: http://howhot.io/

Deep Learning Algorithms with Applications to Video Analytics for A Smart City: A Survey

• arxiv: http://arxiv.org/abs/1512.03131

Deep-Spying: Spying using Smartwatch and Deep Learning

• arxiv: http://arxiv.org/abs/1512.05616
• github: https://github.com/tonybeltramelli/Deep-Spying

Camera identification with deep convolutional networks

• key word: copyright infringement cases, ownership attribution
• arxiv: http://arxiv.org/abs/1603.01068

Build an AI Cat Chaser with Jetson TX1 and Caffe

• blog: https://devblogs.nvidia.com/parallelforall/ai-cat-chaser-jetson-tx1-caffe/

An Analysis of Deep Neural Network Models for Practical Applications

• arxiv: http://arxiv.org/abs/1605.07678

8 Inspirational Applications of Deep Learning

• intro: Colorization of Black and White Images, Adding Sounds To Silent Movies, Automatic Machine Translation Object Classification in Photographs, Automatic Handwriting Generation, Character Text Generation, Image Caption Generation, Automatic Game Playing
• blog: http://machinelearningmastery.com/inspirational-applications-deep-learning/

16 Open Source Deep Learning Models Running as Microservices

-intro: Places 365 Classifier, Deep Face Recognition, Real Estate Classifier, Colorful Image Colorization, Illustration Tagger, InceptionNet, Parsey McParseface, ArtsyNetworks - blog: http://blog.algorithmia.com/2016/07/open-source-deep-learning-algorithm-roundup/

Makeup like a superstar: Deep Localized Makeup Transfer Network

• intro: IJCAI 2016
• arxiv: http://arxiv.org/abs/1604.07102

Deep Cascaded Bi-Network for Face Hallucination

• project page: http://mmlab.ie.cuhk.edu.hk/projects/CBN.html
• arxiv: http://arxiv.org/abs/1607.05046

DeepWarp: Photorealistic Image Resynthesis for Gaze Manipulation

• project page: http://yaroslav.ganin.net/static/deepwarp/
• arxiv: http://arxiv.org/abs/1607.07215

Autoencoding Blade Runner

• blog: https://medium.com/@Terrybroad/autoencoding-blade-runner-88941213abbe#.9kckqg7cq
• github: https://github.com/terrybroad/Learned-Sim-Autoencoder-For-Video-Frames

A guy trained a machine to “watch” Blade Runner. Then things got seriously sci-fi.

http://www.vox.com/2016/6/1/11787262/blade-runner-neural-network-encoding

Deep Convolution Networks for Compression Artifacts Reduction

• intro: ICCV 2015
• project page(code): http://mmlab.ie.cuhk.edu.hk/projects/ARCNN.html
• arxiv: http://arxiv.org/abs/1608.02778

Deep GDashboard: Visualizing and Understanding Genomic Sequences Using Deep Neural Networks

• intro: Deep Genomic Dashboard (Deep GDashboard)
• arxiv: http://arxiv.org/abs/1608.03644

Photo Filter Recommendation by Category-Aware Aesthetic Learning

• intro: Filter Aesthetic Comparison Dataset (FACD): 28,000 filtered images and 42,240 reliable image pairs with aesthetic comparison annotations
• arxiv: http://arxiv.org/abs/1608.05339

Instagram photos reveal predictive markers of depression

• arxiv: http://arxiv.org/abs/1608.03282

How an Algorithm Learned to Identify Depressed Individuals by Studying Their Instagram Photos

• review: https://www.technologyreview.com/s/602208/how-an-algorithm-learned-to-identify-depressed-individuals-by-studying-their-instagram/

IM2CAD

• arxiv: http://arxiv.org/abs/1608.05137

Fast, Lean, and Accurate: Modeling Password Guessability Using Neural Networks

• paper: https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/melicher
• github: https://github.com/cupslab/neural_network_cracking

Defeating Image Obfuscation with Deep Learning

• arxiv: http://arxiv.org/abs/1609.00408

Detecting Music BPM using Neural Networks

• keywords: BPM (Beats Per Minutes)
• blog: https://nlml.github.io/neural-networks/detecting-bpm-neural-networks/
• github: https://github.com/nlml/bpm

Age Estimation

Deeply-Learned Feature for Age Estimation

• paper: http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=7045931&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D7045931

Age and Gender Classification using Convolutional Neural Networks

• paper: http://www.openu.ac.il/home/hassner/projects/cnn_agegender/CNN_AgeGenderEstimation.pdf
• project page: http://www.openu.ac.il/home/hassner/projects/cnn_agegender/
• github: https://github.com/GilLevi/AgeGenderDeepLearning

Recurrent Face Aging

• paper: www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Wang_Recurrent_Face_Aging_CVPR_2016_paper.pdf

Emotion / Expression Recognition

Real-time emotion recognition for gaming using deep convolutional network features

• paper: http://arxiv.org/abs/1408.3750v1
• code: https://github.com/Zebreu/ConvolutionalEmotion

Emotion Recognition in the Wild via Convolutional Neural Networks and Mapped Binary Patterns

• project page: http://www.openu.ac.il/home/hassner/projects/cnn_emotions/
• papre: http://www.openu.ac.il/home/hassner/projects/cnn_emotions/LeviHassnerICMI15.pdf
• github: https://gist.github.com/GilLevi/54aee1b8b0397721aa4b

DeXpression: Deep Convolutional Neural Network for Expression Recognition

• paper: http://arxiv.org/abs/1509.05371

DEX: Deep EXpectation of apparent age from a single image

• intro: ICCV 2015
• paper: https://www.vision.ee.ethz.ch/en/publications/papers/proceedings/eth_biwi_01229.pdf
• homepage: https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/

How Deep Neural Networks Can Improve Emotion Recognition on Video Data

• intro: ICIP 2016
• arxiv: http://arxiv.org/abs/1602.07377

Peak-Piloted Deep Network for Facial Expression Recognition

• arxiv: http://arxiv.org/abs/1607.06997

Training Deep Networks for Facial Expression Recognition with Crowd-Sourced Label Distribution

• arxiv: http://arxiv.org/abs/1608.01041

A Recursive Framework for Expression Recognition: From Web Images to Deep Models to Game Dataset

-arxiv: http://arxiv.org/abs/1608.01647

EmotioNet

EmotioNet: EmotioNet: An accurate, real-time algorithm for the automatic annotation of a million facial expressions in the wild

• intro: CVPR 2016
• paper: http://cbcsl.ece.ohio-state.edu/cvpr16.pdf
• database: http://cbcsl.ece.ohio-state.edu/dbform_emotionet.html

Attribution Prediction

PANDA: Pose Aligned Networks for Deep Attribute Modeling

• intro: Facebook. CVPR 2014
• arxiv: http://arxiv.org/abs/1311.5591
• github: https://github.com/facebook/pose-aligned-deep-networks

Predicting psychological attributions from face photographs with a deep neural network

• arxiv: http://arxiv.org/abs/1512.01289

Learning Human Identity from Motion Patterns

• arxiv: http://arxiv.org/abs/1511.03908

Pose Estimation

DeepPose: Human Pose Estimation via Deep Neural Networks

• intro: CVPR 2014
• arxiv: http://arxiv.org/abs/1312.4659
• slides: http://140.122.184.143/paperlinks/Slides/DeepPose_HumanPose_Estimation_via_Deep_Neural_Networks.pptx

Flowing ConvNets for Human Pose Estimation in Videos

• arxiv: http://arxiv.org/abs/1506.02897
• homepage: http://www.robots.ox.ac.uk/~vgg/software/cnn_heatmap/
• github: https://github.com/tpfister/caffe-heatmap

Structured Feature Learning for Pose Estimation

• arxiv: http://arxiv.org/abs/1603.09065
• homepage: http://www.ee.cuhk.edu.hk/~xgwang/projectpage_structured_feature_pose.html

Convolutional Pose Machines

• arxiv: http://arxiv.org/abs/1602.00134
• github: https://github.com/shihenw/convolutional-pose-machines-release

Model-based Deep Hand Pose Estimation

• paper: http://xingyizhou.xyz/zhou2016model.pdf
• github: https://github.com/tenstep/DeepModel

Stacked Hourglass Networks for Human Pose Estimation

• homepage: http://www-personal.umich.edu/~alnewell/pose/
• arxiv: http://arxiv.org/abs/1603.06937
• github: https://github.com/anewell/pose-hg-train
• demo: https://github.com/anewell/pose-hg-demo

Chained Predictions Using Convolutional Neural Networks

• intro: EECV 2016
• keywords: CNN, structured prediction, RNN, human pose estimation
• arxiv: http://arxiv.org/abs/1605.02346

DeeperCut: A Deeper, Stronger, and Faster Multi-Person Pose Estimation Model

• arxiv: http://arxiv.org/abs/1605.03170
• github: https://github.com/eldar/deepcut-cnn

Sentiment Prediction

From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction

• arxiv: http://arxiv.org/abs/1604.03489
• github: https://github.com/imatge-upc/sentiment-2016
• gitxiv: http://gitxiv.com/posts/ruqRgXdPTHJ77LDEb/from-pixels-to-sentiment-fine-tuning-cnns-for-visual

Predict Sentiment From Movie Reviews Using Deep Learning

• blog: http://machinelearningmastery.com/predict-sentiment-movie-reviews-using-deep-learning/

Neural Sentiment Classification with User and Product Attention

• intro: EMNLP 2016
• paper: http://www.thunlp.org/~chm/publications/emnlp2016_NSCUPA.pdf
• github: https://github.com/thunlp/NSC

Place Recognition

NetVLAD: CNN architecture for weakly supervised place recognition

• arxiv: http://arxiv.org/abs/1511.07247
• homepage: http://www.di.ens.fr/willow/research/netvlad/

PlaNet - Photo Geolocation with Convolutional Neural Networks

• arxiv: http://arxiv.org/abs/1602.05314
• review(“Google Unveils Neural Network with “Superhuman” Ability to Determine the Location of Almost Any Image”): https://www.technologyreview.com/s/600889/google-unveils-neural-network-with-superhuman-ability-to-determine-the-location-of-almost/
• github(“City-Recognition: CS231n Project for Winter 2016”): https://github.com/dmakian/LittlePlaNet
• github: https://github.com/wulfebw/LittlePlaNet-Models

Camera Relocalization

PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization

• paper: http://arxiv.org/abs/1505.07427
• project page: http://mi.eng.cam.ac.uk/projects/relocalisation/#results
• github: https://github.com/alexgkendall/caffe-posenet

Modelling Uncertainty in Deep Learning for Camera Relocalization

• paper: http://arxiv.org/abs/1509.05909

Crowd Counting / Analysis

Large scale crowd analysis based on convolutional neural network

• paper: http://www.sciencedirect.com/science/article/pii/S0031320315001259

Cross-scene Crowd Counting via Deep Convolutional Neural Networks

• intro: CVPR 2015
• paper: http://www.ee.cuhk.edu.hk/~xgwang/papers/zhangLWYcvpr15.pdf

Single-Image Crowd Counting via Multi-Column Convolutional Neural Network

• intro: CVPR 2016
• paper: http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Zhang_Single-Image_Crowd_Counting_CVPR_2016_paper.pdf
• dataset(pwd: p1rv): http://pan.baidu.com/s/1gfyNBTh

CrowdNet

CrowdNet: A Deep Convolutional Network for Dense Crowd Counting

• intro: ACM Multimedia (MM) 2016
• arxiv: http://arxiv.org/abs/1608.06197

Music / Sound Classification

Explaining Deep Convolutional Neural Networks on Music Classification

• arxiv: http://arxiv.org/abs/1607.02444
• blog: https://keunwoochoi.wordpress.com/2015/12/09/ismir-2015-lbd-auralisation-of-deep-convolutional-neural-networks-listening-to-learned-features-auralization/
• blog: https://keunwoochoi.wordpress.com/2016/03/23/what-cnns-see-when-cnns-see-spectrograms/
• github: https://github.com/keunwoochoi/Auralisation
• audio samples: https://soundcloud.com/kchoi-research

Deep Convolutional Neural Networks and Data Augmentation for Environmental Sound Classification

• arxiv: http://arxiv.org/abs/1608.04363
• project page: http://www.stat.ucla.edu/~yang.lu/project/deepFrame/main.html

NSFW Detection / Classification

Nipple Detection using Convolutional Neural Network

• reddit: https://www.reddit.com/over18?dest=https%3A%2F%2Fwww.reddit.com%2Fr%2FMachineLearning%2Fcomments%2F33n77s%2Fandroid_app_nipple_detection_using_convolutional%2F

Applying deep learning to classify pornographic images and videos

• arxiv: http://arxiv.org/abs/1511.08899

MODERATE, FILTER, OR CURATE ADULT CONTENT WITH CLARIFAI’S NSFW MODEL

• blog: http://blog.clarifai.com/moderate-filter-or-curate-adult-content-with-clarifais-nsfw-model/#.VzVhM-yECZY

WHAT CONVOLUTIONAL NEURAL NETWORKS LOOK AT WHEN THEY SEE NUDITY

• blog: http://blog.clarifai.com/what-convolutional-neural-networks-see-at-when-they-see-nudity#.VzVh_-yECZY

Image Reconstruction / Inpainting

Context Encoders: Feature Learning by Inpainting

• intro: CVPR 2016
• project page: http://www.cs.berkeley.edu/~pathak/context_encoder/
• arxiv: https://arxiv.org/abs/1604.07379
• github: https://github.com/pathak22/context-encoder

Semantic Image Inpainting with Perceptual and Contextual Losses

• keywords: Deep Convolutional Generative Adversarial Network (DCGAN)
• arxiv: http://arxiv.org/abs/1607.07539

Image Restoration

Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections

• intro: NIPS 2016
• arxiv: http://arxiv.org/abs/1603.09056

Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections

• arxiv: http://arxiv.org/abs/1606.08921

Image Completion with Deep Learning in TensorFlow

• blog: http://bamos.github.io/2016/08/09/deep-completion/

Image Super-Resolution

Image Super-Resolution Using Deep Convolutional Networks

• intro: Microsoft Research
• project page: http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html
• arxiv: http://arxiv.org/abs/1501.00092
• training code: http://mmlab.ie.cuhk.edu.hk/projects/SRCNN/SRCNN_train.zip
• test code: http://mmlab.ie.cuhk.edu.hk/projects/SRCNN/SRCNN_v1.zip

Learning a Deep Convolutional Network for Image Super-Resolution

• Baidu-pan: http://pan.baidu.com/s/1c0k0wRu

Shepard Convolutional Neural Networks

Bicubic VS. Shepard CNN

• paper: https://papers.nips.cc/paper/5774-shepard-convolutional-neural-networks.pdf
• github: https://github.com/jimmy-ren/vcnn_double-bladed/tree/master/applications/Shepard_CNN

Bidirectional Recurrent Convolutional Networks for Multi-Frame Super-Resolution

• intro: NIPS 2015
• paper: https://papers.nips.cc/paper/5778-bidirectional-recurrent-convolutional-networks-for-multi-frame-super-resolution

Deeply-Recursive Convolutional Network for Image Super-Resolution

• intro: CVPR 2016
• arxiv: http://arxiv.org/abs/1511.04491
• paper: http://cv.snu.ac.kr/publication/conf/2016/DRCN_CVPR2016.pdf

Accurate Image Super-Resolution Using Very Deep Convolutional Networks

• arxiv: http://arxiv.org/abs/1511.04587

Super-Resolution with Deep Convolutional Sufficient Statistics

• arxiv: http://arxiv.org/abs/1511.05666

Deep Depth Super-Resolution : Learning Depth Super-Resolution using Deep Convolutional Neural Network

• arxiv: http://arxiv.org/abs/1607.01977

Local- and Holistic- Structure Preserving Image Super Resolution via Deep Joint Component Learning

• arxiv: http://arxiv.org/abs/1607.07220

End-to-End Image Super-Resolution via Deep and Shallow Convolutional Networks

• arxiv: http://arxiv.org/abs/1607.07680

Accelerating the Super-Resolution Convolutional Neural Network

• intro: speed up of more than 40 times with even superior restoration quality, real-time performance on a generic CPU
• project page: http://mmlab.ie.cuhk.edu.hk/projects/FSRCNN.html
• arxiv: http://arxiv.org/abs/1608.00367

srez: Image super-resolution through deep learning

• github: https://github.com/david-gpu/srez

Image Denoising

Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising

• arxiv: http://arxiv.org/abs/1608.03981
• github: https://github.com/cszn/DnCNN

Medical image denoising using convolutional denoising autoencoders

• arxiv: http://arxiv.org/abs/1608.04667

Image Haze Removal

DehazeNet: An End-to-End System for Single Image Haze Removal

• arxiv: http://arxiv.org/abs/1601.07661

Blur Detection and Removal

Learning to Deblur

• arxiv: http://arxiv.org/abs/1406.7444

Learning a Convolutional Neural Network for Non-uniform Motion Blur Removal

• arxiv: http://arxiv.org/abs/1503.00593

End-to-End Learning for Image Burst Deblurring

• arxiv: http://arxiv.org/abs/1607.04433

Image Compression

An image compression and encryption scheme based on deep learning

• arxiv: http://arxiv.org/abs/1608.05001

Full Resolution Image Compression with Recurrent Neural Networks

• arxiv: http://arxiv.org/abs/1608.05148

Depth Prediction

Deeper Depth Prediction with Fully Convolutional Residual Networks

• arxiv: https://arxiv.org/abs/1606.00373
• github: https://github.com/iro-cp/FCRN-DepthPrediction

Texture Synthesis

Texture Synthesis Using Convolutional Neural Networks

• arxiv: http://arxiv.org/abs/1505.07376

Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis

• arxiv: http://arxiv.org/abs/1601.04589

Texture Networks: Feed-forward Synthesis of Textures and Stylized Images

• intro: IMCL 2016
• arxiv: http://arxiv.org/abs/1603.03417
• github: https://github.com/DmitryUlyanov/texture_nets

Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks

• arxiv: http://arxiv.org/abs/1604.04382
• github(Torch): https://github.com/chuanli11/MGANs

Generative Adversarial Text to Image Synthesis

• intro: ICML 2016
• arxiv: http://arxiv.org/abs/1605.05396
• github(Tensorflow): https://github.com/paarthneekhara/text-to-image

Image Tagging

Flexible Image Tagging with Fast0Tag

• blog: https://gab41.lab41.org/flexible-image-tagging-with-fast0tag-681c6283c9b7

Music Tagging

Automatic tagging using deep convolutional neural networks

• arxiv: https://arxiv.org/abs/1606.00298
• github: https://github.com/keunwoochoi/music-auto_tagging-keras

Benchmarks

Deep Learning’s Accuracy

• blog: http://deeplearning4j.org/accuracy.html

Benchmarks for popular CNN models

https://github.com/jcjohnson/cnn-benchmarks

Papers

Reweighted Wake-Sleep

• paper: http://arxiv.org/abs/1406.2751
• github: https://github.com/jbornschein/reweighted-ws

Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks

• paper: http://arxiv.org/abs/1502.05336
• github: https://github.com/HIPS/Probabilistic-Backpropagation

Deeply-Supervised Nets

• paper: http://arxiv.org/abs/1409.5185
• github: https://github.com/mbhenaff/spectral-lib

Deep learning

• intro: Nature 2015
• author: Yann LeCun, Yoshua Bengio & Geoffrey Hinton
• paper: http://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

On the Expressive Power of Deep Learning: A Tensor Analysis

• paper: http://arxiv.org/abs/1509.05009

Understanding and Predicting Image Memorability at a Large Scale

• intro: MIT. ICCV 2015
• homepage: http://memorability.csail.mit.edu/
• paper: https://people.csail.mit.edu/khosla/papers/iccv2015_khosla.pdf
• code: http://memorability.csail.mit.edu/download.html
• reviews: http://petapixel.com/2015/12/18/how-memorable-are-times-top-10-photos-of-2015-to-a-computer/

Towards Open Set Deep Networks

• arxiv: http://arxiv.org/abs/1511.06233
• github: https://github.com/abhijitbendale/OSDN

Structured Prediction Energy Networks (SPEN)

• arxiv: http://arxiv.org/abs/1511.06350
• github: https://github.com/davidBelanger/SPEN

A Mathematical Theory of Deep Convolutional Neural Networks for Feature Extraction

• arxiv: http://arxiv.org/abs/1512.06293

Deep Neural Networks predict Hierarchical Spatio-temporal Cortical Dynamics of Human Visual Object Recognition

• arxiv: http://arxiv.org/abs/1601.02970
• demo: http://brainmodels.csail.mit.edu/dnn/drawCNN/

A Mathematical Theory of Deep Convolutional Neural Networks for Feature Extraction

• arxiv: http://arxiv.org/abs/1512.06293

Understanding Deep Convolutional Networks

• arxiv: http://arxiv.org/abs/1601.04920

DeepCare: A Deep Dynamic Memory Model for Predictive Medicine

• arxiv: http://arxiv.org/abs/1602.00357

Exploiting Cyclic Symmetry in Convolutional Neural Networks

• intro: ICML 2016
• arxiv: http://arxiv.org/abs/1602.02660
• github(Winning solution for the National Data Science Bowl competition on Kaggle (plankton classification)): https://github.com/benanne/kaggle-ndsb
• ref(use Cyclic pooling): http://benanne.github.io/2015/03/17/plankton.html

Cross-dimensional Weighting for Aggregated Deep Convolutional Features

• arxiv: http://arxiv.org/abs/1512.04065
• github: https://github.com/yahoo/crow

Understanding Visual Concepts with Continuation Learning

• project page: http://willwhitney.github.io/understanding-visual-concepts/
• arxiv: http://arxiv.org/abs/1602.06822
• github: https://github.com/willwhitney/understanding-visual-concepts

Learning Efficient Algorithms with Hierarchical Attentive Memory

• arxiv: http://arxiv.org/abs/1602.03218
• github: https://github.com/Smerity/tf-ham

DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks

• arxiv: http://arxiv.org/abs/1601.00917
• github: https://github.com/bigaidream-projects/drmad

Do Deep Convolutional Nets Really Need to be Deep (Or Even Convolutional)?

• arxiv: http://arxiv.org/abs/1603.05691
• review: http://www.erogol.com/paper-review-deep-convolutional-nets-really-need-deep-even-convolutional/

Harnessing Deep Neural Networks with Logic Rules

• arxiv: http://arxiv.org/abs/1603.06318

Degrees of Freedom in Deep Neural Networks

• arxiv: http://arxiv.org/abs/1603.09260

Deep Networks with Stochastic Depth

• arxiv: http://arxiv.org/abs/1603.09382
• github: https://github.com/yueatsprograms/Stochastic_Depth
• notes(“Stochastic Depth Networks will Become the New Normal”): http://deliprao.com/archives/134
• github: https://github.com/dblN/stochastic_depth_keras
• github: https://github.com/yasunorikudo/chainer-ResDrop
• review: https://medium.com/@tim_nth/review-deep-networks-with-stochastic-depth-51bd53acfe72

LIFT: Learned Invariant Feature Transform

• arxiv: http://arxiv.org/abs/1603.09114

Understanding How Image Quality Affects Deep Neural Networks

• arxiv: http://arxiv.org/abs/1604.04004
• reddit: https://www.reddit.com/r/MachineLearning/comments/4exk3u/dcnns_are_more_sensitive_to_blur_and_noise_than/

Deep Embedding for Spatial Role Labeling

• arxiv: http://arxiv.org/abs/1603.08474
• github: https://github.com/oswaldoludwig/visually-informed-embedding-of-word-VIEW-

Learning Convolutional Neural Networks for Graphs

• arxiv: http://arxiv.org/abs/1605.05273

Unreasonable Effectiveness of Learning Neural Nets: Accessible States and Robust Ensembles

• arxiv: http://arxiv.org/abs/1605.06444

Learning Deep Representation for Imbalanced Classification

• intro: CVPR 2016
• keywords: Deep Learning Large Margin Local Embedding (LMLE)
• project page: http://mmlab.ie.cuhk.edu.hk/projects/LMLE.html
• paper: http://personal.ie.cuhk.edu.hk/~ccloy/files/cvpr_2016_imbalanced.pdf
• code: http://mmlab.ie.cuhk.edu.hk/projects/LMLE/lmle_code.zip

FractalNet

FractalNet: Ultra-Deep Neural Networks without Residuals

• project: http://people.cs.uchicago.edu/~larsson/fractalnet/
• arxiv: http://arxiv.org/abs/1605.07648
• github: https://github.com/gustavla/fractalnet
• github: https://github.com/edgelord/FractalNet
• github(keras): https://github.com/snf/keras-fractalnet

Newtonian Image Understanding: Unfolding the Dynamics of Objects in Static Images

• homepage: http://allenai.org/plato/newtonian-understanding/
• arxiv: http://arxiv.org/abs/1511.04048
• github: https://github.com/roozbehm/newtonian

Convolutional Neural Networks Analyzed via Convolutional Sparse Coding

• arxiv: http://arxiv.org/abs/1607.08194

Recent Advances in Convolutional Neural Networks

• arxiv: http://arxiv.org/abs/1512.07108

TI-POOLING: transformation-invariant pooling for feature learning in Convolutional Neural Networks

• intro: CVPR 2016
• paper: http://dlaptev.org/papers/Laptev16_CVPR.pdf
• github: https://github.com/dlaptev/TI-pooling

Why does deep and cheap learning work so well?

• arxiv: http://arxiv.org/abs/1608.08225

STDP

A biological gradient descent for prediction through a combination of STDP and homeostatic plasticity

• arxiv: http://arxiv.org/abs/1206.4812

An objective function for STDP

• arxiv: http://arxiv.org/abs/1509.05936

Towards a Biologically Plausible Backprop

• arxiv: http://arxiv.org/abs/1602.05179

Target Propagation

How Auto-Encoders Could Provide Credit Assignment in Deep Networks via Target Propagation

• arxiv: http://arxiv.org/abs/1407.7906

Difference Target Propagation

• arxiv: http://arxiv.org/abs/1412.7525
• github: https://github.com/donghyunlee/dtp

CNN with Computer Vision

End-to-End Integration of a Convolutional Network, Deformable Parts Model and Non-Maximum Suppression

• arxiv: http://arxiv.org/abs/1411.5309

A convnet for non-maximum suppression

• arxiv: http://arxiv.org/abs/1511.06437

A Taxonomy of Deep Convolutional Neural Nets for Computer Vision

• arxiv: http://arxiv.org/abs/1601.06615

Projects

Top Deep Learning Projects

• github: https://github.com/aymericdamien/TopDeepLearning

deepnet: Implementation of some deep learning algorithms

• github: https://github.com/nitishsrivastava/deepnet

DeepNeuralClassifier(Julia): Deep neural network using rectified linear units to classify hand written digits from the MNIST dataset

• github: https://github.com/jostmey/DeepNeuralClassifier

Clarifai Node.js Demo

• github: https://github.com/patcat/Clarifai-Node-Demo
• blog(“How to Make Your Web App Smarter with Image Recognition”): http://www.sitepoint.com/how-to-make-your-web-app-smarter-with-image-recognition/

Visual Search Server

• intro: “A simple implementation of Visual Search using features extracted from Tensor Flow inception model”
• github: https://github.com/AKSHAYUBHAT/VisualSearchServer

Deep Learning in Rust

• blog(“baby steps”): https://medium.com/@tedsta/deep-learning-in-rust-7e228107cccc#.t0pskuwkm
• blog(“a walk in the park”): https://medium.com/@tedsta/deep-learning-in-rust-a-walk-in-the-park-fed6c87165ea#.pucj1l5yx
• github: https://github.com/tedsta/deeplearn-rs

Implementation of state-of-art models in Torch

• github: https://github.com/aciditeam/torch-models

Deep Learning (Python, C, C++, Java, Scala, Go)

• github: https://github.com/yusugomori/DeepLearning

deepmark: THE Deep Learning Benchmarks

• github: https://github.com/DeepMark/deepmark

Siamese Net

• intro: “This package shows how to train a siamese network using Lasagne and Theano and includes network definitions for state-of-the-art networks including: DeepID, DeepID2, Chopra et. al, and Hani et. al. We also include one pre-trained model using a custom convolutional network.”
• github: https://github.com/Kadenze/siamese_net

PRE-TRAINED CONVNETS AND OBJECT LOCALISATION IN KERAS

• blog: https://blog.heuritech.com/2016/04/26/pre-trained-convnets-and-object-localisation-in-keras/
• github: https://github.com/heuritech/convnets-keras

Deep Learning algorithms with TensorFlow: Ready to use implementations of various Deep Learning algorithms using TensorFlow

• homepage: http://www.gabrieleangeletti.com/
• github: https://github.com/blackecho/Deep-Learning-TensorFlow

Fast Multi-threaded VGG 19 Feature Extractor

• github: https://github.com/coreylynch/vgg-19-feature-extractor

Live demo of neural network classifying images

http://ml4a.github.io/dev/demos/cifar_confusion.html#

mojo cnn: c++ convolutional neural network

• intro: the fast and easy header only c++ convolutional neural network package
• github: https://github.com/gnawice/mojo-cnn

DeepHeart: Neural networks for monitoring cardiac data

• github: https://github.com/jisaacso/DeepHeart

Deep Water: Deep Learning in H2O using Native GPU Backends

• intro: Native implementation of Deep Learning models for GPU backends (mxnet, Caffe, TensorFlow, etc.)
• github: https://github.com/h2oai/deepwater

Greentea LibDNN: Greentea LibDNN - a universal convolution implementation supporting CUDA and OpenCL

• github: https://github.com/naibaf7/libdnn

Dracula: A spookily good Part of Speech Tagger optimized for Twitter

• intro: A deep, LSTM-based part of speech tagger and sentiment analyser using character embeddings instead of words. Compatible with Theano and TensorFlow. Optimized for Twitter.
• homepage: http://dracula.sentimentron.co.uk/
• speech tagging demo: http://dracula.sentimentron.co.uk/pos-demo/
• sentiment demo: http://dracula.sentimentron.co.uk/sentiment-demo/
• github: https://github.com/Sentimentron/Dracula

Trained image classification models for Keras

• intro: Keras code and weights files for popular deep learning models.
• intro: VGG16, VGG19, ResNet50, Inception v3
• github: https://github.com/fchollet/deep-learning-models

PyCNN: Cellular Neural Networks Image Processing Python Library

• blog: http://blog.ankitaggarwal.me/PyCNN/
• github: https://github.com/ankitaggarwal011/PyCNN

regl-cnn: Digit recognition with Convolutional Neural Networks in WebGL

• intro: TensorFlow, WebGL, regl
• github: https://github.com/Erkaman/regl-cnn/
• demo: https://erkaman.github.io/regl-cnn/src/demo.html

gvnn

gvnn: Neural Network Library for Geometric Computer Vision

• arxiv: http://arxiv.org/abs/1607.07405
• github: https://github.com/ankurhanda/gvnn

Readings and Questions

What you wanted to know about AI

http://fastml.com/what-you-wanted-to-know-about-ai/

Epoch vs iteration when training neural networks

• stackoverflow: http://stackoverflow.com/questions/4752626/epoch-vs-iteration-when-training-neural-networks

Questions to Ask When Applying Deep Learning

http://deeplearning4j.org/questions.html

How can I know if Deep Learning works better for a specific problem than SVM or random forest?

• github: https://github.com/rasbt/python-machine-learning-book/blob/master/faq/deeplearn-vs-svm-randomforest.md

What is the difference between deep learning and usual machine learning?

• note: https://github.com/rasbt/python-machine-learning-book/blob/master/faq/difference-deep-and-normal-learning.md

Resources

Awesome Deep Learning

• github: https://github.com/ChristosChristofidis/awesome-deep-learning

Awesome-deep-vision: A curated list of deep learning resources for computer vision

• website: http://jiwonkim.org/awesome-deep-vision/
• github: https://github.com/kjw0612/awesome-deep-vision

Applied Deep Learning Resources: A collection of research articles, blog posts, slides and code snippets about deep learning in applied settings.

• github: https://github.com/kristjankorjus/applied-deep-learning-resources

Deep Learning Libraries by Language

• website: http://www.teglor.com/b/deep-learning-libraries-language-cm569/

Deep Learning Resources

http://yanirseroussi.com/deep-learning-resources/

Deep Learning Resources

https://omtcyfz.github.io/2016/08/29/Deep-Learning-Resources.html

Turing Machine: musings on theory & code(DEEP LEARNING REVOLUTION, summer 2015, state of the art & topnotch links)

https://vzn1.wordpress.com/2015/09/01/deep-learning-revolution-summer-2015-state-of-the-art-topnotch-links/

BICV Group: Biologically Inspired Computer Vision research group

http://www.bicv.org/deep-learning/

Learning Deep Learning

http://rt.dgyblog.com/ref/ref-learning-deep-learning.html

Summaries and notes on Deep Learning research papers

• github: https://github.com/dennybritz/deeplearning-papernotes

Deep Learning Glossary

• intro: “Simple, opinionated explanations of various things encountered in Deep Learning / AI / ML.”
• author: Ryan Dahl, author of NodeJS.
• github: https://github.com/ry/deep_learning_glossary

The Deep Learning Playbook

https://medium.com/@jiefeng/deep-learning-playbook-c5ebe34f8a1a#.eg9cdz5ak

Deep Learning Study: Study of HeXA@UNIST in Preparation for Submission

• github: https://github.com/carpedm20/deep-learning-study

Deep Learning Books

• blog: http://machinelearningmastery.com/deep-learning-books/

awesome-very-deep-learning: A curated list of papers and code about very deep neural networks (50+ layers)

• github: https://github.com/daviddao/awesome-very-deep-learning

Deep Learning Resources and Tutorials using Keras and Lasagne

• github: https://github.com/Vict0rSch/deep_learning

Deep Learning: Definition, Resources, Comparison with Machine Learning

• blog: http://www.datasciencecentral.com/profiles/blogs/deep-learning-definition-resources-comparison-with-machine-learni

Awesome - Most Cited Deep Learning Papers

• github: https://github.com/terryum/awesome-deep-learning-papers

The most cited papers in computer vision and deep learning

• blog: https://computervisionblog.wordpress.com/2016/06/19/the-most-cited-papers-in-computer-vision-and-deep-learning/

deep learning papers: A place to collect papers that are related to deep learning and computational biology

• github: https://github.com/pimentel/deep_learning_papers

papers-I-read

• intro: “I am trying a new initiative - a-paper-a-week. This repository will hold all those papers and related summaries and notes.”
• github: https://github.com/shagunsodhani/papers-I-read

LEARNING DEEP LEARNING - MY TOP-FIVE LIST

• blog: http://thegrandjanitor.com/2016/08/15/learning-deep-learning-my-top-five-resource/

Attention

• intro: Attention在视觉上的递归模型 / 基于Attention的图片生成 / 基于Attention的图片主题生成 / 基于Attention的字符识别
• blog: http://www.cosmosshadow.com/ml/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/2016/03/08/Attention.html

Tools

DNNGraph - A deep neural network model generation DSL in Haskell

• homepage: http://ajtulloch.github.io/dnngraph/

Deep playground: an interactive visualization of neural networks, written in typescript using d3.js

• homepage: http://playground.tensorflow.org/#activation=tanh&batchSize=10&dataset=circle&regDataset=reg-plane&learningRate=0.03&regularizationRate=0&noise=0&networkShape=4,2&seed=0.23990&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification
• github: https://github.com/tensorflow/playground

Neural Network Package

• intro: This package provides an easy and modular way to build and train simple or complex neural networks using Torch
• github: https://github.com/torch/nn

deepdish: Deep learning and data science tools from the University of Chicago deepdish: Serving Up Chicago-Style Deep Learning

• homepage: http://deepdish.io/
• github: https://github.com/uchicago-cs/deepdish

AETROS CLI: Console application to manage deep neural network training in AETROS Trainer

• intro: Create, train and monitor deep neural networks using a model designer.
• homepage: http://aetros.com/
• github: https://github.com/aetros/aetros-cli

Books

Deep Learning

• author: Ian Goodfellow, Aaron Courville and Yoshua Bengio
• homepage: http://www.deeplearningbook.org/
• website: http://goodfeli.github.io/dlbook/
• notes(“Deep Learning for Beginners”): http://randomekek.github.io/deep/deeplearning.html

Fundamentals of Deep Learning: Designing Next-Generation Artificial Intelligence Algorithms

• author: Nikhil Buduma
• book review: http://www.opengardensblog.futuretext.com/archives/2015/08/book-review-fundamentals-of-deep-learning-designing-next-generation-artificial-intelligence-algorithms-by-nikhil-buduma.html
• github: https://github.com/darksigma/Fundamentals-of-Deep-Learning-Book

FIRST CONTACT WITH TENSORFLOW: Get started with with Deep Learning programming

• author: Jordi Torres
• book: http://www.jorditorres.org/first-contact-with-tensorflow/

Make Your Own Neural Network: IPython Neural Networks on a Raspberry Pi Zero

• book: http://makeyourownneuralnetwork.blogspot.jp/2016/03/ipython-neural-networks-on-raspberry-pi.html
• github: https://github.com/makeyourownneuralnetwork/makeyourownneuralnetwork

Blogs

Neural Networks and Deep Learning

http://neuralnetworksanddeeplearning.com

Deep Learning Reading List

http://deeplearning.net/reading-list/

WILDML: A BLOG ABOUT MACHINE LEARNING, DEEP LEARNING AND NLP.

http://www.wildml.com/

Andrej Karpathy blog

http://karpathy.github.io/

Rodrigob’s github page

http://rodrigob.github.io/

colah’s blog

http://colah.github.io/

What My Deep Model Doesn’t Know…

http://mlg.eng.cam.ac.uk/yarin/blog_3d801aa532c1ce.html

Christoph Feichtenhofer

• intro: PhD Student, Graz University of Technology
• homepage: http://feichtenhofer.github.io/

https://github.com/vlfeat/matconvnet/issues/509

딥러닝서버에서 ResNet을 실행시키니

Attempt to execute SCRIPT vl_nnconv as a function: ...

Error in dagnn.Conv/forward ...

이런 식으로 나오길래

아래 novelmartis의 말대로 Matlab's default path를 중복되지 않게 path를 설정했더니 된다.

novelmartis commented on Apr 20

https://github.com/vlfeat/matconvnet/issues/575

나도 아래의 Ben의 방법대로 고쳤더니 pooling_gpu.cu (line 163), bilinearsampler_gpu.cu (line 25)를 수정했더니 고쳐짐

jlee614 commented on Jun 11 • edited

#if !defined(__CUDA_ARCH__) || __CUDA_ARCH__ >= 600
#else
<... place here your own pre-pascal atomicAdd definition ...>
#endif

http://stackoverflow.com/questions/34644779/how-to-use-the-network-trained-using-cnn-mnist-example-in-matconvnet

I've trained a cnn through the provided code cnn_mnist. After that, I tryed to to classify an image but I don't understand the reason why I got this error after the following code:

    [net, info] = cnn_mnist
net = 
    layers: {1x8 cell}
info = 
    train: [1x1 struct]
      val: [1x1 struct]
f=fopen(fullfile('.\data\mnist\', 't10k-images-idx3-ubyte'),'r') ;
x2=fread(f,inf,'uint8');
fclose(f) ;
x2=permute(reshape(x2(17:end),28,28,10e3),[2 1 3]) ;
im = x2(:,:,1); 
im = single(im);
 res = vl_simplenn(net,im);
Reference to non-existent field 'class'.
Error in vl_simplenn (line 163)
      res(i+1).x = vl_nnsoftmaxloss(res(i).x, l.class) ; 

-----------------------------------------------------

i'm not sure why your code won't run. I belive the problem is in your last layer. by default it is defined by softmaxloss and you should change it to softmax. try to add this line before calling vl_simplenn:

net.layers{end}.type = 'softmax';

anyway try this code that works for me (you should run it from main MatConvNet folder):

%%%%%%%%%%% run this lines only once at matlab startup
run matlab/vl_compilenn
run matlab/vl_setupnn
%%%%%%%%%%%

load('examples\mnist\data\mnist-bnorm\net-epoch-20.mat');  % files from training
net.layers{end}.type = 'softmax';
im = imread('Capture.jpg') ; % an image of a handwritten number
im = rgb2gray(im);
im_ = single(im) ; % note: 0-255 range
im_ = imresize(im_, net.meta.inputSize(1:2)+1) ;
load('examples\mnist\data\mnist-bnorm\imdb.mat')
im_ = im_ - images.data_mean;

% run the CNN
res = vl_simplenn(net, im_) ;

% show the classification result
scores = squeeze(gather(res(end).x)) ;
[bestScore, best] = max(scores) ;
best = best - 1;  % shift the score from 1:10 to 0:9
figure(1) ; clf ; imshow(im) ;
title(sprintf('The number is %s, score %.1f%%',...
net.meta.classes.name{best+1}-1, bestScore * 100)) ;

https://sites.google.com/site/minggaoshomepage/links/dee

Deep Learning (http://deeplearning.net/)

1. http://newsight.tistory.com/180

주로 위 사이트에서 오픈소스로 링크된 리스트중 실제로 직접 실행해본 소스를 정리한다.

http://deeplearning.net/software_links/

CuDNN : 

Theano : 

ConvNet :

Torch :

Caffe :

RNNLM : C++로 되어있음, 윈도우 환경에서 실행이 안되는 것으로 판단됨. 우분투에서 실행해야한다는 이야기를 들음. 코드는 약간 분석하기 힘들어 보이나, 전체적으로 간결한 편임.
http://www.fit.vutbr.cz/~kombrink/personal/rnn-kaldi/

RNNLIB : RNN이 구현된 몇안되는 라이브러리. 마찬가지로 리눅스 기반으로 보이며 LSTM, Bidrectional LSTM, Multidimensional RNN 등등의 알고리즘이 구현된 것으로 보인다.
http://sourceforge.net/projects/rnnl/

http://people.idsia.ch/~juergen/rnn.html (뭔가 RNNLIB와 관련된 소스코드로 보임.. 정확하지 않음)

DeepLearnToolbox : 매틀랩으로 된 코드. 경로추가만 해주니 아주 부드럽게 잘 돌아감. 유일한 단점은 병렬화가 안되는 정도로보임. 소스코드도 세분화가 잘되어 있어 좋음. RNN계열 코드를 제외하고 CAE, CNN, DBN, NN, SAE 등의 코드가 구현되어 있음. 데이터는 mnist 임.
https://github.com/rasmusbergpalm/DeepLearnToolbox

deepmat : 마찬가지로 매틀랩 코드임. 딥러닝 툴박스 보다 좀더 다양한 모델이 구현있으나 약간 폴더 정리가 안됨. 마찬가지로 RNN은 없으나, CNN, DAE, DBM, DBN, GSN, MLP. RBM, 등등이 구현되어 바로 실행 가능. 마찬가지로 데이터는 mnist임
https://github.com/kyunghyuncho/deepmat

Michal Cernansky's Homepage: 유일하게 찾은 RNN 계열 매틀랩 소스코드가 오픈 된 것으로 보임. 딥러닝.net에서 링크한 것이 아니므로 완전히 신뢰할 순 없을 것 같지만, 괜찮아보임.
http://www2.fiit.stuba.sk/~cernans/main/download.html

Miscellaneous Code for Neural Networks, Reinforcement Learning, and Other Fun Stuff : Reinforcement가 오픈소스로 구현됨. 
http://www.cs.colostate.edu/~anderson/code/

- 기계학습 오픈소스 파이썬 

http://www.kdnuggets.com/2015/06/top-20-python-machine-learning-open-source-projects.html?utm_content=bufferddfa4&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer

2. http://t-robotics.blogspot.kr/2015/06/hw-sw.html#.V7uRkoLr0sM

딥러닝 공부 가이드 (HW / SW 준비편)

뭐든지 시작이 중요합니다. 시험공부를 시작하기 전에 갑자기 책상 정리하고, 방청소를 하는게 괜한 이유가 있는게 아니죠. 그만큼 정갈하게 시작하고 싶고, 완벽한 시작을 꿈꾸니까요. (물론 그러다가 정작 공부를 못하기는 합니다만...)

딥러닝 공부도 마찬가지일 것입니다. 여러분들도 아마 공부를 시작하진 않고 관련 자료만 디립다 저장해 놓으셨겠지만 (ㅋㅋㅋ) 이 모든건 아직 장비빨이 갖춰지지 않았기 때문이죠. 일단 딥러닝을 공부하겠다는데 딥러닝 공부를 위한 완벽한 환경부터 갖추어야 하지 않겠습니까? ㅎㅎ

딥러닝을 위한 새로운 GPU, GTX Titan X를 발표하는 NVIDIA CEO의 모습 (사진출처) 

그래서 "딥러닝 공부 가이드" 시리즈를 준비했습니다.

   [딥러닝 공부 가이드]

   1.  HW / SW 준비편

   2.  TensorFlow 기초편

   3.  딥러닝 공부자료 모음편

오늘은 그 첫번째로 딥러닝을 위해 필요한 하드웨어들과 소프트웨어들을 어떻게 선택하고 준비할지에 대해 알아보도록 하죠.

딥러닝을 위한 하드웨어 가이드

사실 저도 여러 하드웨어를 설치해 이용해보진 않았습니다. 하지만 딥러닝을 위해 하드웨어를 구성하시는 분들께 좋은 자료가 있어 소개드립니다.

A Full Hardware Guide to Deep Learning, https://goo.gl/wrc9Is

Which GPU to get for Deep Learning, https://goo.gl/VF2RxR 

한줄요약 : 돈 많으면 좋은거 쓰세요;;;

이렇게 끝내시면 아마 화내시겠죠...? ㅎㅎ 그래서 위에 언급한 글의 내용을 간략하게 요약해 드리겠습니다. 먼저, GPU부터 살펴보도록 하죠.

(출처 : Which GPU to get for Deep Learning)

GPU는 딥러닝에 있어 연산을 병렬처리하게 끔 해주는 가장 핵심적인 하드웨어 요소입니다. 딥러닝의 큰 발전 원인 중 하나로 GPGPU(General-Purpose Computing on GPU)의 등장을 꼭 꼽으니 말이죠. 예전엔 빅데이터의 처리가 너무도 오래걸렸지만, 요즘은 그냥 많은 양의 데이터만큼 많은 GPU를 꽂아서 병렬처리를 하면 몇 백만개의 데이터도 두렵지 않답니다. 게다가 딥러닝 라이브러리를 이용한다면 병렬처리를 간단하게 구현할 수 있으니, 그것 또한 엄청 큰 매력이죠.

우선 돈이 무척 많으시다면 GTX Titan X를 쓰십시오. 만약에 다니시는 회사에서 지원을 빵빵하게 해주신다면 말이죠. 현재시점(15년 6월)을 기준으로 가격도 함께 말씀드리면요, GTX Titan X는 140만원 이상으로 거의 컴퓨터 한 대 값이네요 ㅎㄷㄷ 다다익선! 데이터가 많다면 더 많이 꽂아서 주변의 부러움을 사시기 바랍니다.

요거보다 한단계 낮은 걸 쓰신다면 GTX 980을 고르셔도 충분할 것 같습니다. (70~90만원) 제가 쓰고있는게 바로 요놈이지요. 제 생각엔 연구에는 GTX 980 하나만 있어도 충분하지 않을까 싶습니다. 무슨 구글처럼 수백개의 머신을 돌릴게 아니라면 말이죠.

만약에 돈이 없으시다면 GTX 960 (30만원)을 쓰셔도 좋을 것 같고요. 더 없으시면 더 낮은 걸로 쓰실 수 밖에 없겠지요. (참고로 GTX 960은 GTX 980의 약 절반의 성능을 보여줍니다.) 만약 제가 제시해드린 것 외의 다른 GPU를 고르신다면 먼저 그 GPU가 CUDA 프로그래밍을 지원하는지 꼭 확인해보셔야 합니다. GPU 이용에 있어 엔비디아의 CUDA 지원은 거의 필수적인 기술이거든요.

CuDA 지원 GPU 리스트 : https://developer.nvidia.com/cuda-gpus 

어떤 분들은 라데온 제품을 쓰면 안되느냐 하시는 분들도 계실텐데... 그르지 마요...;; 그냥 딥러닝은 엔비디아로 가는겁니다. 딥러닝에 맞춘 하드웨어나 소프트웨어 지원이 빵빵하거든요. (CuDNN이란게 라이브러리도 제공해 줄 정도니까요)

GPU간의 성능 비교가 궁금하신 분들은 gpuboss.com 이란 사이트가 매우 유용하실 것입니다. 한가지 더 말씀드리자면 GTX 970은 960보다 훨씬 빠르고 980보다 약간 느린 성능을 보이지만 메모리를 3.5G 이상 사용할 경우 효율저하의 문제가 발생한다고 하네요. 구매에 참고하세요.

GTX980 vs. GTX960 (gpuboss.com)

딥러닝을 노트북에서 돌리고 싶으신 분들도 아마 계실텐데요, 노트북은 발열문제로 인해 GPU가 풀 성능을 발휘하지 못하는 경우가 많습니다. 예를 들어 GTX980을 노트북 버전으로 개량한 GTX980M 제품은 발열을 조절할 수 있도록 클럭수를 제한하고 있죠. 따라서 아키텍쳐는 GTX980과 거의 같지만 그 성능은 GTX960보다 살짝 나은 수준 정도라고 하네요. (가격은 GTX980과 비슷한데 말이죠ㅠ)

참고로 그냥 알고리즘 공부를 하신다면 굳이 하드웨어까지 챙겨서 하실 필요는 없고요, 정말 많은 데이터를 다루고 싶은 분들만 GPU를 구매하시는게 좋지 않을까 싶습니다. 인내심이 여러분의 머니를 아껴줍니다ㅎㅎ 만약 GPU를 사신다면 웬만하면 4G 이상의 메모리를 가진 GPU를 사시길 권합니다.

GPU 외에 다른 하드웨어 조건들은 사실 크게 까다롭지 않습니다. 그래도 꼽아보자면, 먼저 파워가 충분해야합니다. GPU가 파워를 많이 소모하기 때문에 최소 500W 이상이어야 하고요 (GPU와 CPU의 요구 Watt를 더한 후 100~300W 여유를 가져주세요.), 메인보드도 PCIe를 많이 지원해주는 좋은 메인보드면 좋겠네요. (전 PCIe 3.0 소켓이 부족해서 SSD를 떼어내야만 했던 아픔이...ㅠ GPU 하나 당 2개의 PCIe가 필요합니다.)

CPU는 딥러닝에서 주로 GPU에 변수값들을 복사하며 주고받을 때 사용되는데 GPU하나 당 2개의 2GHz 이상의 클럭이면 좋다고 하고요 (뭐 요즘 쿼드코어면 충분하죠), 본체가 너무 뜨거워져서 성능이 저하되지 않도록만 쿨링만 조심해주시면 된다고 합니다.

이 정도면 하드웨어 선택에 도움이 좀 되셨으려나요? 그럼 그 다음, 소프트웨어 선택 부분으로 넘어가 보도록 하죠.

딥러닝 라이브러리  

먼저 딥러닝 관련 자료들을 모은 사이트부터 하나 보고 가실게요~

[딥러닝 코드 모음]  http://deeplearning.net/software_links/

위에 소개해드린 deeplearning.net은 코드들 말고도 읽기자료, 데모 등도 잘 소개되어 있으니 딥러닝을 공부하며 종종 참고하시기 바랍니다.

딥러닝을 입문하시는 분들이라면 Matlab으로 입문하시는 것도 나쁘지 않을 것 같습니다. Matlab은 언어도 쉽고 변수값을 확인하기도 쉬우며 관련 코드들도 많이 존재하니까요. 저도 사실 알고리즘을 처음 이해할 때는 먼저 Matlab 코드를 보면서 따라가는 편입니다. 워낙 프로그램 인터페이스가 잘 되어있어 값 확인하기가 쉽거든요.

Matlab 자료 중에는 간단한 Neural Network부터 Deep belief network까지 다양한 알고리즘이 있는 DeepLearnToolbox를 추천해 드립니다.

[코드] https://github.com/rasmusbergpalm/DeepLearnToolbox

만약 Convolutional Neural Network를 Matlab으로 공부하는 분이시라면 다음의 자료를 추천드립니다.

[튜토리얼] http://www.robots.ox.ac.uk/~vgg/practicals/cnn/

[코드] https://github.com/vedaldi/practical-cnn

하지만 여러분들께서 만약 큰 용량의 데이터를 다루신다면 MATLAB은 너무 느리죠. 그리고 GPU 서포트도 쉽지 않고요. 이 경우엔 딥러닝 전문 라이브러리를 쓰시는 것이 좋습니다. 대표적으로는 Theano, Torch, Caffe가 있죠.

Theano는 딥러닝 대가 Yoshua Bengio교수가 이끄는 몬트리올 대학 LISA 연구실에서 개발된 라이브러리입니다. 파이썬을 사용하고 있고 내부적으로는 속도를 위해 C로 구현이 되어있죠. 당연히 GPU가 지원되고요, Bengio 교수가 워낙 좋은 논문/문서들을 쏟아내는 만큼, Theano와 Theano 기반의 딥러닝에 대해서도 좋은 튜토리얼을 제공하고 있네요. 특히 주요 알고리즘들이 예제코드로 제공되어 있어 딥러닝을 공부하시는 분들껜 매우 유용한 라이브러리가 아닐까 생각합니다. 다양한 라이브러리가 존재하는 "파이썬"을 기반으로 한다는 점도 장점이고요.

[Theano 튜토리얼] http://deeplearning.net/software/theano/

[Deep Learning 튜토리얼] http://deeplearning.net/tutorial/

Torch7은 딥러닝 대가 Yann LeCun교수가 페이스북과 함께 중점적으로 사용하고 있는 라이브러리입니다. 스크립트 언어인 Lua를 기본으로 하고 있고 Theano와 거의 유사한 기능을 제공하고 있습니다. Theano보다 더 빠르다고 주장하는데 그것에 대해서는 논란이 있고요, 아무래도 페이스북이란 대기업이 키우다보니 향후 발전성이 클 것으로 기대됩니다.

[Torch7] http://torch.ch/

[Torch7 튜토리얼] http://code.cogbits.com/wiki/doku.php

Caffe는 버클리대학의 비전 연구그룹(BVLC)에서 개발한 C++ 라이브러리입니다. C++을 이용하다보니 자유도가 높고 속도가 빠른 반면, 약간의 언어적 번거로움이 있고, 튜토리얼이 아직은 풍성하지 않은 것이 단점입니다.

[Caffe] http://caffe.berkeleyvision.org/

 Reddit에는 이런 커맨트가 있네요. 

"Caffe는 다른 타겟을 가지고 있다. Caffe는 보다 큰 마켓에 딥러닝을 적용하려는 목적을 가지고 있는 반면 Torch나 Theano는 딥러닝 그 자체 연구에 더 적합하다."

좀더 자세한 Theano/Torch7/Caffe의 비교는 다음의 블로그 글(영문)을 참고해주세요.


여기에 또 굿뉴스가 추가됐네요. 바로 구글이 발표한 TensorFlow입니다.

[TensorFlow] https://www.tensorflow.org/

TensorFlow의 가장 큰 특징은 복잡한 코딩 없이 다이어그램으로 쉽게 딥러닝을 적용해 볼 수 있다는 것입니다! 아주 최상의 성능은 내지 못하더라도 '딥러닝을 적용하면 어떻게 되지?'라는 질문에 대해서 쉽고 빠르게 적용해 볼 수 있는 솔루션인거죠. (성능도 곧 최고의 성능에 가깝게 따라잡을 것이라고 생각합니다.)

다음 편에서는 본격적으로 TensorFlow를 한번 설치하고 시작해보겠습니다. 다음편에서 만나요~

3. http://kr.mathworks.com/help/nnet/ref/trainnetwork.html?s_eid=PSM_12879

 

 

https://www.mathworks.com/matlabcentral/answers/95039-why-does-the-sdk-7-1-installation-fail-with-an-installation-failed-message-on-my-windows-system

I am working with MATLAB 7.14 (R2012a) 64-bit. I need to setup a compiler configuration for MATLAB on my system.

When I try to execute the following MATLAB command:

mex -setup

I receive the following error:

 No supported SDK or compiler was found on this computer. 

 For a list of supported compilers, see  

 <http://www.mathworks.com/support/compilers/R2012a/win64.html>

If I try to install Microsoft Windows SDK 7.1, a supported compiler for MATLAB 7.14 (R2012a), on my system, the installation fails with the following error message:

-----------------------------------------------------------------------------------

This is an issue with Microsoft Windows SDK 7.1. It may occur under two scenarios:

1. If you have Microsoft Visual C++ 2010 SP1 (Express or Professional) installed.

2. If you have Microsoft Visual C++ 2010 redistributable packages (x64 or x86) installed.

The details on the issue from Microsoft are below:

http://support.microsoft.com/kb/2717426

http://support.microsoft.com/kb/2519277

To avoid this issue:

1. Uninstall the Microsoft Visual C++ 2010 redistributable packages (both x86 as well as x64) from “Control Panel” > “Programs and Features”. If you have trouble uninstalling them, see related solution 1-NBI41W at the bottom.

2. Install the Windows SDK 7.1. During installation, under the "Installation Options" menu, UNCHECK the "Visual C++ Compilers" and "Microsoft Visual C++ 2010" components.

3. Apply the SDK 7.1 patch from below:

http://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=4422

4. Reinstall the Microsoft Visual C++ 2010 redistributable packages.

x64:

http://www.microsoft.com/en-us/download/details.aspx?id=14632

x86:

http://www.microsoft.com/en-us/download/details.aspx?id=5555

http://wishmesh.com/2011/04/fatal-error-c1083-cannot-open-include-file-ammintrin-h-no-such-file-or-directory/

fatal error C1083: Cannot open include file: ‘ammintrin.h’: No such file or directory

I can not compile my C++ projects after installing ‘Security Update for Microsoft Visual Studio 2010 (KB2455033)’, see my yesterday’s post: Security Update for Microsoft Visual Studio 2010 (KB2455033) failed with Code 643.

Visual Studio 2010 shows the following error:
1>------ Build started: Project: some_project_name_i_am_hiding, Configuration: Debug Win32 ------
1> stdafx.cpp
1>c:\program files (x86)\microsoft visual studio 10.0\vc\include\intrin.h(26): fatal error C1083: Cannot open include file: 'ammintrin.h': No such file or directory
========== Build: 0 succeeded, 1 failed, 0 up-to-date, 0 skipped ==========


Error is caused because file intrin.h have reference to ammintrin.h, and after this update there is no such file. Relevant fragment from intrin.h:
#if defined(_M_IX86) || defined(_M_X64)
#include <immintrin.h>
#include <ammintrin.h>


Searching Google for the answer I found only one link in Russian. Russian developer says, he have reinstalled Visual Studio. Tried to search MS Connect again, and found: Windows Update KB2455033 breaks build with missing ammintrin.h.

The workaround is to install Visual Studio 2010 SP1. Download it form Microsoft Website: Microsoft Visual Studio 2010 Service Pack 1 (Installer).

Installing service pack 1 takes some time while I am writing this blog post… 30 minutes… And Building / compiling after SP1 is successful. So installing Microsoft Visual Studio 2010 Service Pack 1 fixes this issue.

Screenshots from the process below.

http://stackoverflow.com/questions/32736149/how-to-load-jpeg-file-using-dlib-libarary

After attempting to run a example program downloaded from Here, I understand for working with jpeg files , I must add #define DLIB_JPEG_SUPPORT directive to the project. but before that It's necessary to download jpeg library and add it to the project. I did These steps:

1.Download jpegsr9a.zip from here and unzipped it.

2.Download WIN32.mak and paste it into the jpeg root folder

3.Open Developer Command Prompt from visual studio 2013 tools

4.In command prompt type : nmake -f makefile.vc setup-v10

5.After these steps jpeg.sln created ,the note is when I open jpeg.sln in VS2013 the message come:

maybe base of the problem start from here , I don't know

6.Build the jpeg.sln with the proper configuration (I built it many times with different configurations, recently I built it using this .) at the end of building the error came :"unable to start jpeg.lib" but in release folder or debug folder (depend on configuration) jpeg.lib was created

7. open main project which is using DLIB for detecting face,I added jpeg root folder to Additonal Include Directory and jepegroot/release to Additional Libarary Directories ,then change the UseLibrary dependencies to "yes" and I also added jpeg.lib to the dependecies.

during building the project errors come:

This is the source which I trying to build and run

//#define HAVE_BOOLEAN
#define DLIB_JPEG_SUPPORT
#include <dlib/image_processing/frontal_face_detector.h>
#include <dlib/image_processing/render_face_detections.h>
#include <dlib/image_processing.h>
#include<dlib/image_transforms.h>
#include <dlib/gui_widgets.h>
#include <dlib/image_io.h>
#include <iostream>
//
using namespace dlib;
using namespace std;

// ----------------------------------------------------------------------------------------

int main(int argc, char** argv)
{
    try
    {
        // This example takes in a shape model file and then a list of images to
        // process.  We will take these filenames in as command line arguments.
        // Dlib comes with example images in the examples/faces folder so give
        // those as arguments to this program.
        if (argc == 1)
        {
            cout << "Call this program like this:" << endl;
            cout << "./face_landmark_detection_ex shape_predictor_68_face_landmarks.dat faces/*.jpg" << endl;
            cout << "\nYou can get the shape_predictor_68_face_landmarks.dat file from:\n";
            cout << "http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2" << endl;
            return 0;
        }

        // We need a face detector.  We will use this to get bounding boxes for
        // each face in an image.
        frontal_face_detector detector = get_frontal_face_detector();
        // And we also need a shape_predictor.  This is the tool that will predict face
        // landmark positions given an image and face bounding box.  Here we are just
        // loading the model from the shape_predictor_68_face_landmarks.dat file you gave
        // as a command line argument.
        shape_predictor sp;
         deserialize(argv[1])>>sp;


        image_window win, win_faces;
        // Loop over all the images provided on the command line.
        for (int i = 2; i < argc; ++i)
        {
            cout << "processing image " << argv[i] << endl;
            array2d<rgb_pixel> img;
            load_image(img, argv[i]);
            // Make the image larger so we can detect small faces.
            pyramid_up(img);

            // Now tell the face detector to give us a list of bounding boxes
            // around all the faces in the image.
            std::vector<rectangle> dets = detector(img);
            cout << "Number of faces detected: " << dets.size() << endl;

            // Now we will go ask the shape_predictor to tell us the pose of
            // each face we detected.
            std::vector<full_object_detection> shapes;
            for (unsigned long j = 0; j < dets.size(); ++j)
            {
                full_object_detection shape = sp(img, dets[j]);
                cout << "number of parts: " << shape.num_parts() << endl;
                cout << "pixel position of first part:  " << shape.part(0) << endl;
                cout << "pixel position of second part: " << shape.part(1) << endl;
                // You get the idea, you can get all the face part locations if
                // you want them.  Here we just store them in shapes so we can
                // put them on the screen.
                shapes.push_back(shape);
            }

            // Now let's view our face poses on the screen.
            win.clear_overlay();
            win.set_image(img);
            win.add_overlay(render_face_detections(shapes));

            // We can also extract copies of each face that are cropped, rotated upright,
            // and scaled to a standard size as shown here:
            dlib::array<array2d<rgb_pixel> > face_chips;
            extract_image_chips(img, get_face_chip_details(shapes), face_chips);
            win_faces.set_image(tile_images(face_chips));

            cout << "Hit enter to process the next image..." << endl;
            cin.get();
        }
    }
    catch (exception& e)
    {
        cout << "\nexception thrown!" << endl;
        cout << e.what() << endl;
    }
}

// ----------------------------------------------------------------------------------------

I can choose other alternatives but I spend too much time to reach here , I want to know How I can solve this problem and load jpeg file when using DLIB

I also read these links:

Compiling libjpeg

http://www.dahlsys.com/misc/compiling_ijg_libjpeg/index.html

dlib load jpeg files

http://sourceforge.net/p/dclib/discussion/442518/thread/8a0d42dc/

=======================================================================================

I solved my problem by below instruction, please follow it.

- Add include directory in VC++

- Include source.cpp

- Add add files in dlib/external/libjpeg to project

- Define in Preprocessor

-- You don't need to use any additional library.

http://blog.naver.com/publicstation/220764835853

https://github.com/mrgloom/Face-landmarks-detection-benchmark

Kaggle Facial Keypoints Detection
https://github.com/mrgloom/Kaggle-Facial-Keypoints-Detection-Solutions



Explicit shape regression
https://github.com/delphifirst/FaceX
https://github.com/soundsilence/FaceAlignment
http://phg1024.github.io/CSCE625/

https://github.com/ci2cv/face-analysis-sdk  (http://face.ci2cv.net/)
https://github.com/uricamic/flandmark
http://cmp.felk.cvut.cz/~uricamic/flandmark/
http://cmp.felk.cvut.cz/~uricamic/clandmark/
https://github.com/uricamic/clandmark
https://github.com/dnouri/kfkd-tutorial
https://github.com/FaceDetect/jointCascade_py
https://github.com/zhusz/CVPR15-CFSS
http://ibug.doc.ic.ac.uk/resources/fiducial-facial-point-detector-20052007/
http://ibug.doc.ic.ac.uk/resources/facial-point-detector-2010/
https://github.com/kylemcdonald/FaceTracker
http://www.cl.cam.ac.uk/research/rainbow/projects/clmz/
Coarse-to-Fine Auto-Encoder Networks (CFAN) for Real-Time Face Alignment
http://vipl.ict.ac.cn/resources/codes
http://ibug.doc.ic.ac.uk/resources/drmf-matlab-code-cvpr-2013/


ASM/AAM
http://www.milbo.users.sonic.net/stasm/
https://github.com/cxcxcxcx/asmlib-opencv
http://uomasm.sourceforge.net/
https://github.com/greatyao/aamlibrary
https://github.com/greatyao/asmlibrary

constrained local models
https://github.com/TadasBaltrusaitis/CLM-framework

"One Millisecond Face Alignment with an Ensemble of Regression Trees"
http://blog.dlib.net/2014/08/real-time-face-pose-estimation.html
http://www.csc.kth.se/~vahidk/face_ert.html

http://www.ics.uci.edu/~xzhu/face/
https://github.com/TadasBaltrusaitis/CLM-framework


https://github.com/yulequan/face-alignment-in-3000fps
https://github.com/jwyang/face-alignment
https://github.com/jwyang/face-alignment-cpp

https://github.com/AndrejMaris/facefit

http://www.vision.caltech.edu/xpburgos/ICCV13/

Joint Cascade Face Detection and Alignment
https://github.com/luoyetx/JDA

https://github.com/ChrisYang/RCPR
http://www.vision.caltech.edu/xpburgos/ICCV13/

https://github.com/TadasBaltrusaitis/OpenFace

Supervised Descent Method (SDM) for Face Alignment
https://github.com/tntrung/impSDM
https://github.com/patrikhuber/superviseddescent

Not sure
https://github.com/elador/FeatureDetection
https://github.com/t0nyren/kbdetect

Deep learning:
http://mmlab.ie.cuhk.edu.hk/projects/TCDCN.html
http://mmlab.ie.cuhk.edu.hk/archive/CNN_FacePoint.htm
https://github.com/zhzhanp/TCDCN-face-alignment
https://github.com/RiweiChen/DeepFace
Recombinator Networks (in theano)
https://github.com/SinaHonari/RCN
Caffe
https://github.com/ishay2b/VanillaCNN (http://www.openu.ac.il/home/hassner/projects/tcnn_landmarks/)
https://github.com/luoyetx/deep-landmark
https://github.com/qiexing/caffe-regression
https://github.com/pminmin/caffe_landmark
https://github.com/feixuan090803/CNN-Face-Point-Detection
MatConvNet - maybe regression can be applyed to landmard detection task.
https://github.com/bazilas/matconvnet-deepReg




FANN:
https://github.com/olddocks/facialkeypoints

Javascript:
https://github.com/auduno/clmtrackr

Seems to be commercialized, closed source and not publicly available to download, not worth considering it:
http://www.humansensing.cs.cmu.edu/intraface/

Too simple algorithm, not worth considering it:
https://github.com/sdcoca/facex

https://tensorflowkorea.wordpress.com/a-guide-to-convolution-arithmetic-for-deep-learning/

딥 러닝을 위한 콘볼루션 계산 가이드

Vincent Dumoulin(MILA, 몬트리올 대학), Francesco Visin(AIRLab, 밀라노 공과대학)

2016년 4월 24일

감사의 말

유용한 피드백을 보내 준 David Warde-Farley, Guillaume Alain 그리고 Caglar Culcehre에게 감사합니다.

특별히 이 문서의 그림에서 사용된 색깔인 Solarized 컬러 스킴을 만든 Ethan Schoonover에게 감사드립니다.

피드백

피드백은 언제든지 환영합니다! 가능한 정확하고 상세하게 기술하려고 최선을 다했지만 혹 잘못된 점을 발견했거나 설명을 바꿀 필요가 있거나 좀 더 상세히 할 부분이 있다면 주저하지 말고 연락 주세요. 마찬가지로 이 리포트에 어울리는 뭔가가 있거나 우리와 논의할 게 있다면 연락 주세요. 최선을 다해 이 문서를 업데이트하도록 하겠습니다.

소스코드와 이미지

그림과 함께 이 문서를 만든 코드는 깃허브에 공개되어 있습니다. 그리고 이 문서에 있는 이미지의 애니메이션 버전도 있습니다.

목차

1. 소개
   1. 분할 콘볼루션
   2. 풀링
2. 콘볼루션 계산
   1. 제로 패딩 없음, 단일 스트라이드
   2. 제로 패딩, 단일 스트라이드
      1. 하프(동일) 패딩
      2. 풀 패딩
   3. 제로 패딩 없음, 다중 스트라이드
   4. 제로 패딩, 다중 스트라이드
3. 풀링 계산
4. 전치 콘볼루션 계산
   1. 행렬 연산으로서의 콘볼루션
   2. 전치 콘볼루션
   3. 제로 패딩 없음, 단일 스트라이드, 전치
   4. 제로 패딩, 단일 스트라이드, 전치
      1. 하프(동일) 패딩, 전치
      2. 풀 패딩, 전치
   5. 제로 패딩 없음, 다중 스트라이드, 전치
   6. 제로 패딩, 다중 스트라이드, 전치
5. 참고문헌

1장. 소개

딥 콘볼루션 뉴럴 네트워크(Deep Convolutional Neural Networks, CNNs)는 딥 러닝 분야에서 일어난 놀라운 발전의 핵심입니다. CNNs은 글자 인식 문제를 풀기위해(Le Cun 외, 1997) 90년대 이미 사용되었지만 현재처럼 널리 쓰이게 된 것은 최근의 연구 결과 덕택입니다. 그리고 딥 CNN은 ImageNet 이미지 분류 시합에서 다른 경쟁자들을 이기고 우승을 차지했습니다(Krizhevsky 외, 2012)

이제 콘볼루션 뉴럴 네트워크는 머신러닝 분야애서 매우 유용한 툴이 되었습니다. 하지만 처음 CNNs을 배우는 것은 그리 쉽지만은 않습니다. 콘볼루션 레이어(layer)의 출력(output) 크기는 입력(input)의 크기와 커널(kernel) 크기의 선택, 제로 패딩(padding), 스트라이드(stride) 등에 영향을 받습니다. 이러한 요소간의 상호관계는 쉽게 짐작하기 어렵습니다. 이 부분이 출력 크기가 입력 크기와 상관이 없는 완전 연결(fully-connected) 뉴럴 네트워크와 대비되는 점입니다. 추가적으로 CNNs은 풀링(pooling)이라는 단계를 가지고 있어 완전 연결 뉴럴 네트워크에 비해 좀 더 복잡해 집니다. 마지막으로 전치 콘볼루션 레이어(또는 부분 스트라이드 콘볼루션 레이어라고 알려진)는 최근에 점점 많은 곳에서 채택되고 있고(Zeiler 외, 2011; Zeiler and Fergus, 2014; Long 외, 2015; Rad-ford 외, 2015; Visin 외, 2015; Im 외, 2016) 콘볼루션 레이어와의 관계가 여러 관점에서 설명되어 왔습니다.

(역주: 전치 콘볼루션은 초기에 디콘볼루션[deconvolution]이라고 불리웠는데 보다 명확한 의미 전달을 위해 전치 콘볼루션으로 바뀌고 있는 것으로 보입니다. 텐서플로우에도 같은 역할을 하는 conv2d_transpose 함수가 있습니다.)

이 가이드의 목적은 두가지 입니다.

1. 콘볼루션 레이어와 전치 콘볼루션 레이어간의 관계를 설명합니다.
2. 콘볼루션 레이어와 전치 콘볼루션 레이어에서 입력 크기, 커널 크기, 제로 패딩, 풀링, 스트라이드 그리고 출력 크기 간의 관계를 알기 쉽게 설명합니다.

폭 넓게 적용될 수 있도록 이 가이드에서 제시한 결과는 특정 구현에 종속되어 있지 않으며 대부분의 머신러닝 프레임워크, 예를 들면 씨아노(Theano. Bergstra 외, 2010; Bastien 외, 2012), 토치(Torch. Collobert 외, 2011), 텐서플로우(TensoFlow. Abadi 외, 2015), 카페(Caffe. Jia 외, 2014) 등에 적용할 수 있습니다.

이 장에서는 CNNs의 분할 콘볼루션, 풀링 같은 주요 구성 요소에 대해 간략히 살펴 보겠습니다. 이 주제에 대한 심도 깊은 자료는 딥 러닝 책(Goodfellow 외, 2016) 9장을 참고하세요.

1.1 분할 콘볼루션(Discrete convolutions)

(역주: 이 문서에서 말하는 Discrete convolution이 보통 우리가 말하는 일반적인 콘볼루션입니다. discrete란 단어가 흔히 ‘이산’으로 번역되지만 오히려 더 어렵게 느껴지는 것 같아 분할 콘볼루션이라고 적었습니다. 입력값의 축 방향을 따라 조금씩 나뉘어 콘볼루션 된다는 의미로 해석할 수 있습니다.)

뉴럴 네트워크의 기본 요소는 아핀 변환(affine transformation)입니다. 한 벡터를 입력으로 받아서 한 행렬을 곱하여 출력을 만듭니다(보통 비선형적으로 변환하기 전에 편향[bias] 벡터를 더합니다). 이미지나 사운드 클립 또는 순서가 없는 속성을 가진 데이터라면 어떠한 종류의 입력에도 적용될 수 있습니다. 그들의 차원이 어떻든 간에 변환하기 전에 하나의 벡터로 직렬화 시킬 수 있기 때문입니다.

이미지, 사운드 클립 그리고 유사한 종류의 많은 데이터들이 고유한 구조를 가지고 있습니다. 구체적으로 말하면 이런 데이터는 다음과 같은 중요한 성질을 가집니다.

• 다차원 배열로 저장됩니다.
• 순서가 있는 하나 이상의 축을 가집니다(예를 들면 이미지의 폭이나 높이 방향의 축, 사운드 클립의 시간축).
• 채널이라 불리는 축은 데이터를 다른 관점으로 보는데 사용됩니다(예를 들면 컬러 이미지의 적, 녹, 청 채널이나 스테레오 오디오 트랙의 좌우 채널)

이런 성질들은 아핀 변환을 할 때 이용되지 않습니다. 사실 모든 축이 같은 방식으로 처리되므로 구조적인 정보는 고려되지 않습니다. 하지만 데이터에 내재된 구조를 이용하는 것이 컴퓨터 비전이나 음성인식 같은 분야의 문제들을 해결하는데 유리하다고 알려져 있습니다. 이런 경우엔 구조적 정보를 유지하는 것이 최선입니다. 그래서 분할 콘볼루션이 등장하게 되었습니다.

분할 콘볼루션은 순서 정보를 유지한 선형변환입니다. 이는 데이터를 부분부분 잘라 사용하고(하나의 출력 요소를 만들기 위해 몇개의 입력 요소만 사용되므로) 파라메타를 재 사용합니다(같은 가중치 값이 입력 데이터의 여러 위치에 적용되므로).

그림 1.1은 분할 콘볼루션의 예를 보여줍니다. 밝은 파랑색 격자를 입력 특성 맵(input feature map)이라고  부릅니다. 간단하게 나타내려고 하나의 특성 맵만 그렸지만 여러개의 특성 맵을 쌓아 올려져 있는 것이 일반적입니다(앞서 언급한 이미지나 사운드 클립의 채널이 좋은 예입니다). 커널(어두운 부분)이 입력 특성 맵을 슬라이딩하여 지나갑니다. 각 위치마다 커널의 원소와 오버랩되는 입력 원소가 곱해져서 그 합이 현재 위치의 출력 값이 됩니다. 이런 과정은 출력 특성 맵을 구성하는데 필요한 만큼 다른 커널을 사용하여 반복될 수 있습니다(그림 1.3). 최종 출력을 출력 특성 맵(output feature map)이라고 부릅니다(시그널 프로세싱 측면에서 보면 콘볼루션과 크로스 코릴레이션[cross-correlation] 사이에 차이가 있지만 커널을 학습시킬 때는 큰 차이가 없습니다. 심플하기도 하고 대부분의 머신러닝 자료들과 일관성을 유지하기 위해서 이 가이드에서는 콘볼루션이란 용어를 사용합니다). 여러개의 입력 특성 맵이 있는 경우엔 커널은 3차원 형태를 띠게 됩니다. 각각의 입력 특성 맵 하나가 하나의 커널에 콘볼루션 되어 계산된 특성 맵을 원소별로 더해 출력 특성 맵을 만듭니다.

그림 1.1: 분할 콘볼루션의 출력값 계산

그림 1.1에 묘사된 콘볼루션은 2-D 콘볼루션의 예입니다. 하지만 이는 N-D 콘볼루션으로 일반화시킬 수 있습니다. 예를 들면 3-D 콘볼루션에서는 커널은 직육면체가 되며 입력 특성 맵의 높이, 넓이 그리고 깊이를 따라 슬라이드 하게 됩니다.

분할 콘볼루션을 정의하는 커널들은 아래 치환기호(, , ~ )에 상응하는 크기를 가집니다.

출력 특성 맵의 갯수
입력 특성 맵의 갯수
축 방향의 커널 크기

어떤 콘볼루션 레이어의 축 방향의 출력 사이즈 에 영향을 미치는 속성은 다음과 같습니다.

• : 축 방향의 입력 사이즈
• : 축 방향의 커널 사이즈
• : 축 방향의 스트라이드 (커널의 연속적인 두 위치 사이의 거리)
• : 축 방향의 제로 패딩 (축의 시작과 끝에 추가되는 0의 갯수)

예를 들어 그림 1.2는 1×1 제로 패딩된 5×5 입력에 2×2 스트라이드로 3×3 커널이 적용되는 예입니다.

그림 1.2: = 2, = = 5, = = 3, = = 2 그리고 = = 1 일 때 분할 콘볼루션의 출력값 계산

스트라이드는 서브 샘플링(subsampling)과 같은 모습을 만들어 줍니다. 스트라이드는 커널이 한번에 얼마나 많이 이동하는지로 설명하기도 하지만 출력이 얼마나 많이 남아있는지로 표현할 수도 있습니다. 예를 들면 두개씩 건너서 커널을 움직이는 것은 한칸씩 커널을 움직이되 홀수개의 출력만 취하는 것과 동일합니다(그림 1.4).

그림 1.3: 3x2x3x3 커널 를 사용한 두개의 입력 특성 맵에서 세개의 출력 특성 맵으로의 콘볼루션 매핑. 맨 왼쪽부터 입력 특성 맵 1 은 커널 에 콘볼루션 되고 입력 특성 맵 2 는 커널 에 콘볼루션 되어 그 계산 결과는 요소별로 더해져서 첫번째 출력 특성 맵을 만듭니다. 같은 방식으로 가운데와 오른쪽에 적용되어 두번째 세번째 특성 맵이 구성됩니다. 세개의 출력 특성 맵은 하나로 묶여져 최종 출력 값이 됩니다.

그림 1.4: 스트라이드를 바라보는 다른 관점. s = 2 씩 증가하는 3×3 커널로 생각하는 대신(왼쪽), 1씩 증가하되 s = 2인 출력만 취하는 것으로 볼 수 있음(오른쪽)

1.2 풀링(Pooling)

분할 콘볼루션과 함께 풀링 연산은 CNNs의 중요한 구성요소 중 하나입니다. 풀링 연산은 평균을 내거나 최대값을 선택하는 함수를 사용하여 영역의 일부분을 압축하여 특성 맵의 크기를 줄여 줍니다.

풀링은 윈도우를 입력 값 위로 슬라이딩하면서 윈도우에 나타나는 값을 풀링 함수에 입력하는 방식으로 작동합니다. 어떤 면에서는 풀링은 분할 콘볼루션과 매우 비슷하게 작동합니다. 하지만 풀링의 다른 점은 커널과의 션형 계산을 다른 종류의 함수로 바꾼 것입니다. 그림 1.5는 평균 풀링의 예를 나타내고 그림 1.6은 맥스 풀링의 예입니다.

다음은 풀링 레이어의 축 방향의 출력 사이즈 에 영향을 미치는 요소입니다.

• : 축 방향의 입력 크기
• : 축 방향의 풀링 윈도우 크기
• : 축 방향의 스트라이드 (연속된 풀링 윈도우 위치 간의 거리)

그림 1.5: 5×5 입력에 1×1 스트라이드로 3×3 평균 풀링 연산의 출력값 계산

그림 1.6: 5×5 입력에 대해 1×1 스트라이드로 3×3 맥스 풀링 연산의 출력값 계산

2장. 콘볼루션 계산

콘볼루션 레이어의 속성 간의 관계는 서로 다른 축끼리는 영향을 끼치지 않는다는 사실을 알면 쉽게 이해할 수 있습니다. 예를 들면 축 방향의 커널 크기, 제로 패딩, 스트라이드는 축 방향의 출력에만 영향을 미칩니다. 그렇기 때문에 이 장에서는 다음과 같이 문제를 단순화하여 진행합니다.

• 2-D 분할 콘볼루션 ()
• 정방형 입력 ()
• 정방형 커널 ()
• 두 축 방향으로 동일한 스트라이드 ()
• 두 축 방향으로 동일한 제로 패딩 ()

이런 설정은 분석과 시각화를 쉽게 만들어 줍니다. 하지만 이 문서의 내용은 N-D 차원과 정방향이 아닌 경우로 확장할 수 있다는 것을 기억하세요.

2.1 제로 패딩 없음, 단일 스트라이드

분석하기에 가장 간단한 경우는 커널이 입력의 모든 위치를 슬라이딩할 때입니다(즉 그리고 ). 그림 2.1은 이고 일 때의 예입니다.(역주: 깃허브의 애니메이션 버전이 있는 경우 페이퍼의 그림 대신 사용했습니다.)

그림 2.1: (패딩 없음, 단일 스트라이드) 4×4 입력에 대해 단일 스트라이드로 3×3 커널을 콘볼루션 하기 (i = 4, k = 3, s = 1 그리고 p = 0)

이 경우에 커널이 입력위에 놓일 수 있는 횟수로 출력의 크기를 정의할 수 있습니다. 폭 방향의 축을 생각해 보면 커널은 입력 특성 맵의 가장 왼쪽에서 시작해서 입력의 오른쪽 끝을 만날 때까지 한 스텝씩 지나갑니다. 출력의 크기는 커널이 이동하는 스텝 수에 초기 위치(그림 2.8a)를 반영하여 1을 더한 값입니다. 동일한 로직이 높이 방향으로도 적용됩니다.

이를 수식으로 나타내면 아래와 같이 쓸 수 있습니다.

식 1. 임의의 와 에 대해 그리고 일 때,

(역주: 이 식은 가장 일반화된 식 6에 , 을 대입한 것과 동일합니다)

2.2 제로 패딩, 단일 스트라이드

제로 패딩 측면에서(즉 이라고만 가정하고) 콘볼루션 되는 실제 입력 사이즈가 어떻게 영향을 받는지 생각해 봅시다. 개의 제로 패딩은 입력 사이즈 를 로 바꿉니다. 일반적으로 쓰면 식 1을 사용하여 다음과 같은 식을 유도할 수 있습니다.

식 2. 임의의 , 와 에 대해 일 때,

(역주: 이 식은 가장 일반화된 식 6에 을 대입한 것과 동일합니다)

그림 2.2는 , , 일 때 예입니다.

그림 2.2: (임의의 패딩, 단일 스트라이드) 2×2 제로 패딩된 5×5 입력에 대해 단일 스트라이드로 4×4 커널을 콘볼루션하기 (즉 i = 5, k = 4, s = 1 그리고 p = 2)

실제로는 특별한 성질을 가지고 있는 제로 패딩의 전형적인 두가지 케이스가 아주 널리 사용됩니다. 이 두가지를 자세히 살펴 보겠습니다.

2.2.1 하프(half, 또는 동일) 패딩

출력 크기를 입력 크기와 동일하게(즉 ) 만들어야 할 때가 있습니다.

식 3. 임의의 에 대해 가 홀수(, ), , 일 때,

(역주: 텐서플로우에서는 conv2d 함수에 스트라이드를 1 로 하고 padding 옵션에 ‘SAME’ 을 사용합니다)

이를 종종 하프(또는 동일) 패딩이라고 부릅니다. 그림 2.3은 , 그러므로 인 예입니다.

그림 2.3: (하프 패딩, 단일 스트라이드) 하프 패딩된 5×5 입력에 대해 단일 스트라이드로 3×3 커널을 콘볼루션 하기 (즉 i = 5, k = 3, s = 1 그리고 p = 1)

2.2.2 풀(full) 패딩

커널을 콘볼루션 하면 보통 입력 크기 보다 출력 크기가 줄어 들지만 가끔은 그 반대의 경우가 필요할 때가 있습니다. 적절한 패딩을 넣으면 이렇게 만들 수 있습니다.

식 4. 임의의 와 에 대해 , 일 때,

이렇게 하면 커널이 입력 특성 맵에 부분적이든지 완전 겹치든지 가능한 모든 경우가 고려되기 때문에 이를 종종 풀 패딩이라고 부릅니다. 그림 2.4는 , 그러므로 인 예입니다.

그림 2.4: (풀 패딩, 단일 스트라이드) 풀 패딩된 5×5 입력에 대해 단일 스트라이드로 3×3 커널을 콘볼루션하기 (즉 i = 5, k = 3, s = 1 그리고 p = 2)

2.3 제로 패딩 없음, 다중 스트라이드

이제까지 유도된 모든 식은 단일 스트라이드 콘볼루션에 대해서만 적용되는 것입니다. 다중 스트라이드를 다루기 위해서는 추가적으로 고려해야할 것이 있습니다. 분석을 쉽게 하기 위해 잠시 제로 패딩은 무시하도록 합니다(즉 이고 ). 그림 2.5는 , , 인 예입니다.

그림 2.5: (제로 패딩 없음, 임의의 스트라이드) 5×5 입력에 2×2 스트라이드로 3×3 커널을 콘볼루션 하기 (즉 i = 5, k = 3, s = 2 그리고 p = 0)

여기서도 마찬가지로 출력 사이즈는 입력 위에 커널이 놓일 수 있는 횟수로 정의할 수 있습니다. 폭 방향을 먼저 보면 커널은 입력의 왼쪽 끝 부터 시작합니다. 하지만 이번엔 만큼 보폭으로 입력의 오른쪽 끝까지 슬라이드 합니다. 출력 크키는 커널의 초기 위치를 반영하여 스텝 수에 1을 더한 값이 됩니다(그림 2.8b). 같은 방법으로 높이 방향 축에 적용합니다.

이것으로 부터 다음 식이 유도될 수 있습니다.

식 5. 임의의 , 그리고 에 대해 일 때,

(역주: 이 식은 가장 일반화된 식 6에 을 대입한 것과 동일합니다)

내림(floor) 함수가 적용되는 것은 커널의 마지막 스텝이 입력의 끝과 맞지 않는 경우가 있기 때문입니다. 즉 일부 입력 원소는 버려지게 됩니다(그림 2.7이 이런 경우의 예입니다).

(역주: 텐서플로우에서는 conv2d 함수에 padding 옵션에 ‘VALID’ 을 사용합니다)

2.4 제로 패딩, 다중 스트라이드

가장 일반적인 케이스(제로 패딩이 된 입력에 다중 스트라이드로 콘볼루션 하는 것)를 식 2에서 했던 것 처럼 식 5에서 실제 입력 사이즈를 로 대체 함으로써 유도할 수 있습니다.

식 6. 임의의 , , 그리고 에 대해,

(역주: 텐서플로우에서는 임의의 패딩 옵션으로 콘볼루션 하려면 tf.pad 함수를 사용하여 직접 패딩을 추가한 후에 conv2d 함수를 ‘VALID’ 패딩 옵션으로 사용해야 합니다)

위에서와 같이 내림(floor) 함수는 다른 크기의 입력에 대해 콘볼루션할 때 같은 출력 크기를 만들어 낼 수 있다는 걸 의미합니다. 구체적인 예를 보면, 가 의 배수일 경우 입력 크기 , 은 같은 출력 크기를 만듭니다. 이런 동작은 일 때만 해당됩니다.

그림 2.6은 , , 그리고 일 때의 예를 보여주고 그림 2.7은 , , 그리고 일 때의 예입니다. 서로 다른 입력 크기를 가지고 있음에도 같은 출력 사이즈로 콘볼루션 됩니다. 이런 현상이 콘볼루션 분석에는 영향을 미치지 않지만 전치 콘볼루션의 경우에는 분석을 복잡하게 만듭니다.

그림 2.6: (임의의 패딩, 임의의 스트라이드) 테두리가 1×1 크기로 제로 패딩된 5×5 입력에 2×2 스트라이드로 3×3 커널을 콘볼루션하기 (즉 i = 5, k = 3, s = 2 그리고 p = 1)

그림 2.7: (임의의 패딩, 임의의 스트라이드) 테두리가 1×1 크기로 제로 패딩된 6×6 입력에 2×2 스트라이드로 3×3 커널을 콘볼루션 하기(즉 i = 6, k = 3, s = 2 그리고 p = 1). 이 경우 제로 패딩된 맨 아래 행과 가장 오른쪽 열은 커널에 콘볼루션되지 않습니다.

그림 2.8: 커널 위치 카운팅. (a) 이 커널은 오른쪽으로 두번 이동하면 입력의 오른쪽 끝에 다다릅니다(아래 방향도 마찬가지 입니다). 초기 커널 위치를 고려해 1을 더하면 출력은 3×3 크기가 됩니다.

그림 2.8: 커널 위치 카운팅. (b) 이 커널은 오른쪽으로 두칸씩 한번만 이동하면 입력의 오른쪽 끝에 다다릅니다(아래 방향도 마찬가지 입니다). 초기 커널 위치를 고려해 1을 더하면 출력은 2×2 크기가 됩니다.

3장. 풀링(Pooling) 계산

풀링 레이어는 뉴럴 네트워크가 입력의 작은 변화에 민감하지 않도록 만들어 줍니다. 가장 널리 사용되는 풀링은 입력을 조각으로 나누어(일반적으로 겹쳐지지 않도록) 각 조각에서 가장 큰 값을 취하는 맥스 풀링(max pooling) 입니다. 다른 종류의 풀링으로는 중간값(mean) 또는 평균값 풀링 입니다. 이들은 모두 조각안의 값들에 비선형성을 부여하는 것으로써 입력 값을 부분 부분 합친다는 동일한 아이디어를 바탕으로 합니다(Boureau 외, 2010a, b, 2011; Saxe 외, 2011).

콘볼루션 계산이 어떤 함수가 입력의 부분 부분에 반복적으로 적용된다는 가정을 바탕으로 한다는 것을 눈치 챘을 지 모르겠습니다. 이 말은 앞장에서 유도한 식을 풀링 계산에서도 재 사용할 수 있다는 뜻입니다. 풀링은 제로 패딩을 가지지 않으므로 일반적인 경우의 식은 아래와 같습니다.

식 7. 임의의 , 그리고 일 때,

이 식은 어떤 종류의 풀링에도 적용됩니다.

4장. 전치(transposed) 콘볼루션 계산

일반적인 콘볼루션의 반대 방향으로 콘볼루션을 하고자 할 때 전치 콘볼루션이 필요합니다. 즉 어떤 콘볼루션의 출력 크기에서 연결 패턴을 유지한 채  그 콘볼루션의 입력 크기로 변환하는 것입니다. 예를 들면 콘볼루션 오토인코더(autoencoder)의 디코딩(decoding) 레이어나 특성 맵을 고차원 공간(higher-dimensional space)으로 프로젝션 시키기 위해 이런 변환을 사용할 수 있습니다.

(역주: 연결 패턴을 그대로 유지한다는 것은 입력과 출력의 원소간 대응 관계를 같게 한다는 뜻 입니다)

전치된 가중치 행렬 하나만 필요한 이 콘볼루션도 완전 연결(fully-connected)의 경우보다 더 복잡니다. 그러나 어떤 콘볼루션도 효율적인 행렬 연산으로 축약시킬 수 있으므로 완전 연결의 경우에서 얻은 통찰은 이 콘볼루션의 경우에도 유용합니다.

콘볼루션 계산처럼 전치 콘볼루션 계산에 관한 논증은 다른 축끼리는 서로 영향을 끼치지 않는다는 점을 이용해 간소화시킬 수 있습니다.

이 장에서는 아래 가정하에서 진행합니다.

• 2-D 전치 콘볼루션 ()
• 정방향 입력 ()
• 정방향 커널 크기 ()
• 각 축 방향으로 동일한 스트라이드 ()
• 각 축 방향으로 동일한 제로 패딩 ()

여기에서도 서술된 결과는 N-D 차원과 정방형이 아닌 경우로 일반화될 수 있습니다.

4.1 행렬 연산으로 표현한 콘볼루션

그림 2.1의 콘볼루션을 예로 들어 보겠습니다. 입력과 출력의 원소를 왼쪽에서부터 오른쪽으로 그리고 위에서 아래로 벡터로 풀어 놓으면 콘볼루션은 0이 아닌 원소를 커널의 원소( 와 는 각각 커널의 행과 열입니다)로 나타낸 희소(sparse) 행렬 로 나타낼 수 있습니다.(역주: 즉 이 행렬의 행은 커널의 한 스텝에 대응합니다)

이 선형 연산은 16차원의 벡테로 변환된 입력을 4차원의 벡터로 만들고 최종적으로 2×2 출력 행렬로 변환됩니다. (역주: [4, 16] 행렬과 [16] 벡터를 행렬곱하면 [4] 벡터가 됩니다)

이런 벡터 표현을 사용하면 역방향 계산(backward pass)은 의 전치 행렬을 이용하여 손쉽게 구할 수 있습니다. 다른 말로 하면, 손실(loss)에 를 곱하여 에러가 역전파되는 것이 한 예입니다. 이 연산은 4차원 벡터를 입력으로 받아 16차원 벡터를 출력으로 만들지만 연결 패턴은 를 사용할 때와 동일합니다.

주목할 것은 커널 w가 정방향(forward pass)과 역방향(backward pass) 계산에 사용되는 행렬 와 에 모두 사용됩니다.

4.2 전치(Transposed) 콘볼루션

그림 2.1 에 나타난 콘볼루션의 연결 패턴을 유지하면서 4차원 공간을 16차원 공간에 매핑하는 데 다른 방법이 어떤 것이 있는지 알아보겠습니다. 이 연산을 전치 콘볼루션이라고 부릅니다.

전치 콘볼루션-또는 부분 스트라이드 콘볼루션으로 불리는-은 콘볼루션의 정방향과 역방향을 바꾸어 거꾸로 작동합니다. 다르게 말하면 커널이 콘볼루션을 정의하지만 직접 콘볼루션인지 전치 콘볼루션인지는 어떻게 정방향과 역방향을 계산하느냐로 결정됩니다.

예를 들면 커널 가 각각 와 를 곱하여 정방향과 역방향 콘볼루션을 정의했다면 이는 정방향과 역방향에 와 를 각각 곱하는 전치 콘볼루션을 정의할 수 있습니다(실제로 전치 콘볼루션을 구현할 때 종종 사용하는 것처럼 전치 콘볼루션의 계산은 입력 값을 콘볼루션의 그래디언트로 생각할 수 있습니다).

(역주: 실제로 텐서플로우는 전치 콘볼루션을 계산할 때 직접 콘볼루션에서 사용하는 역전파 함수에 그래디언트 대신 입력 값을 넣어 사용합니다)

마지막으로 전치 콘볼루션은 직접 콘볼루션(역주: 전치가 아닌 일반 콘볼루션)으로 항상 모사할 수 있습니다. 이 방법의 단점은 입력의 여러 행과 열에 0을 추가해야 해서 불필요한 계산이 늘어납니다.

지금까지 소개한 것을 바탕으로 콘볼루션 계산을 설명한 2장에 역방향 계산을 진행하겠습니다. 같은 커널을 가진 직접 콘볼루션을 참조하면서 전치 콘볼루션의 속성을 유도하겠습니다. 그리고 전치 콘볼루션과 동등한 직접 콘볼루션을 정의합니다.

4.3 제로 패딩 없음, 단일 스트라이드, 전치

전치 콘볼루션을 가장 쉽게 생각하는 방법은 처음에 주어진 입력 크기의 직접 콘볼루션의 출력 크기를 계산하고 전치 콘볼루션을 위해 입력과 출력 크기를 반대로 바꾸는 것입니다.

패딩이 없는 4×4 입력에 단일 스트라이드로 3×3 커널을 콘볼루션하는 예를 생각해 봅시다(즉 , , 그리고 ). 그림 2.1에서 보듯이 이는 2×2 출력을 만듭니다. 이 콘볼루션의 전치는 2×2 입력이 적용될 때 4×4 크기의 출력을 만들게 됩니다.

전치 콘볼루션의 결과를 얻는 또 다른 방법은 비효율적이지만 동등한 효과를 내는 직접 콘볼루션을 적용하는 것입니다. 그림 4.1에서 2×2 테두리가 제로 패딩된 2×2 입력에 단일 스트라이드로 3×3 커널을 콘볼루션하는 것으로 같은 효과를 내었습니다(즉 , , 그리고 ). 커널과 스트라이드의 크기는 동일하지만 전치 콘볼루션의 입력은 제로 패딩되었습니다.(이 콘볼루션은 전치 콘볼루션과 동일하지만 추가된 제로 패딩 때문에 그림에서 0을 곱하는 연산이 많이 발생합니다. 하지만 이는 일러스트의 목적을 위해서이며 실제 소프트웨어 구현에서는 0을 곱하는 연산을 수행하지 않습니다.)

그림 4.1: 4×4 입력에 대해 단일 스트라이드로 3×3 커널을 전치 콘볼루션하기(즉 i = 4, k = 3, s = 1 그리고 p = 0). 이는 2×2 테두리로 제로 패딩된 2×2 입력에 대해 단일 스트라이드로 3×3 커널을 콘볼루션하는 것과 동일합니다(즉 i’ = 2, k’ = k, s’ = 1 그리고 p’ = 2).

제로 패딩이 되는 원리를 이해하는 한가지 방법은 전치 콘볼루션의 연결 패턴을 고려하여 대등한 콘볼루션을 구성하도록 조정하는 것입니다. 예를 들면, 직접 콘볼루션의 왼쪽 최상단 픽셀은 출력의 왼쪽 최상단 픽셀에만 영향을 끼치고 오른쪽 최상단 픽셀은 출력의 오른쪽 최상단 픽셀과만 연결되는 식입니다.

동일한 연결 패턴을 유지한 대등한 콘볼루션을 만들려면 커널의 첫번째 스텝이 왼쪽 최상단의 픽셀에만 겹쳐지도록 입력에 제로 패딩을 넣는 것이 필요합니다. 결국 패딩은 커널 사이즈보다 하나 작은 크기가 됩니다.

같은 방식으로 진행하면서 이미지의 다른 픽셀에 대해 비슷한 관찰을 수행할 수 있고 다음식이 유도됩니다.

식 8. , 그리고 인 콘볼루션은 , 그리고 인 전치 콘볼루션과 연관되어 있습니다. 그리고 출력 크기는,

흥미롭게도 이것은 단일 스트라이드 풀 패딩 콘볼루션과 동일합니다. (역주: 또한 제로 패딩 없는 단일 스트라이드 직접 콘볼루션의 식 1에서 와 가 바뀐 식입니다)

4.4 제로 패딩, 단일 스트라이드, 전치

제로 패딩이 없는 콘볼루션의 전치가 제로 패딩된 콘볼루션과 동일하다는 것을 알았으므로 제로 패딩이 있는 콘볼루션의 전치는 덜 패딩된 입력을 콘볼루션하는 것과 동일한 것이라고 추측할 수 있습니다.

이는 , 그리고 인 그림 4.2에 나타난 것처럼 사실입니다. 수식으로 표현하면 아래 식은 제로 패딩된 콘볼루션에 적용됩니다.

식 9. , 그리고 인 콘볼루션은 , 그리고 인 전치 콘볼루션과 연관되어 있고 이 출력의 크기는,

(역주: 이는 식 2에서 와 가 바뀐 식입니다)

그림 4.2: 2×2 테두리로 제로 패딩된 5×5 입력에 대해 단일 스트라이드로 4×4 커널을 전치 콘볼루션하기(즉 i = 5, k = 4, s = 1 그리고 p = 2). 이는 1×1 테두리로 제로 패딩된 6×6 입력에 대해 단일 스트라이드로 4×4 커널을 콘볼루션하는 것과 동일합니다(즉 i’ = 6, k’ = k, s’ = 1 그리고 p’ = 1).

4.4.1 하프(동일) 패딩, 전치

이전에 했던 것과 같은 논리를 적용하면 출력의 크기가 입력의 크기와 동일한 하프 패딩 콘볼루션의 대등한 전치 콘볼루션은 하프 패딩 콘볼루션 자기 자신이 됩니다. 그러므로 다음 식이 성립됩니다.

식 10. , , 그리고 인 콘볼루션은 , 그리고 인 전치 콘볼루션과 연관되어 있고 출력 사이즈는,

그림 4.3은 , 그리고 인 예입니다.

그림 4.3: 하프 패딩된 5×5 입력에 대해 단일 스트라이드로 3×3 커널을 전치 콘볼루션하기(즉 i = 5, k = 3, s = 1 그리고 p = 1). 이는 하프 패딩된 5×5 입력에 대해 단일 스트라이드로 3×3 커널을 콘볼루션하는 것과 동일합니다(즉 i’ = 5, k’ = k, s’ = 1 그리고 p’ = 1).

4.4.2 풀 패딩, 전치

패딩 없는 콘볼루션의 전치와 대등한 콘볼루션이 풀 패딩이므로 풀 패딩 콘볼루션의 전치와 대등한 것은 패딩 없는 콘볼루션이 되는 것이 자연스럽습니다.

식 11. , 그리고 인 콘볼루션은 , 그리고 인 전치 콘볼루션과 연관되어 있고 출력사이즈는,

(역주: 이는 식 4에서 와 가 바뀐 식입니다)

그림 4.4는 , 그러므로 인 예입니다.

그림 4.4: 풀 패딩된 5×5 입력에 대해 단일 스트라이드로 3×3 커널을 전치 콘볼루션하기(즉 i = 5, k = 3, s = 1 그리고 p = 2). 이는 7×7 입력에 대해 단일 스트라이드로 3×3 커널을 콘볼루션하는 것과 동일합니다(즉 i’ = 7, k’ = k, s’ = 1 그리고 p’ = 0).

4.5 제로 패딩 없음, 다중 스트라이드, 전치

제로 패딩 콘볼루션에 적용했던 원리를 동일하게 사용하면   인 콘볼루션의 전치는 인 동등한 콘볼루션과 관련이 있다고 기대할 수 있습니다. 앞으로 설명하겠지만 이 직감은 맞습니다. 그래서 전치 콘볼루션을 부분 스트라이드 콘볼루션으로 부르기도 합니다.

그림 4.5는  , 그리고 인 예로서 부분 스트라이드가 무엇인지 잘 보여줍니다. 즉 0이 입력 원소 사이에 추가되어서 커널이 단일 스트라이드일 때 보다 더 느리게 움직이게 만듭니다.(이렇게 하는 것은 비효율적이라 실제 구현에서는 불필요하게 0을 곱하는 것을 피합니다. 여기서는 개념적으로 스트라이드 콘볼루션의 전치를 보여주기 위해서 입니다.)

여기서는 이 콘볼루션이 패딩이 없는() 콘볼루션이고 가 의 배수인 가 입력의 크기라고 가정합니다. 이 경우 다음식이 성립됩니다.(역주: 식 5에서 내림[floor] 함수를 떼어내기 위한 가정입니다)

식 12. , , 그리고 가 의 배수인 입력 크기()를 가진 콘볼루션은 , , 그리고 인 전치 콘볼루션과 연관되어 있습니다. 여기서  는 입력의 원소 사이사이에 의 0이 추가되어 늘어난 크기 입니다. 이 출력의 크기는,

(역주: 이는 식 5에서 내림 함수를 떼고 난 후 와 가 바뀐 식입니다)

그림 4.5: 5×5 입력에 대해 2×2 스트라이드로 3×3 커널을 전치 콘볼루션하기(즉 i = 5, k = 3, s = 2 그리고 p = 0). 이는 2×2 테두리로 제로 패딩되고 입력 원소 사이에 1개의 0이 추가된 2×2 입력에 대해 단일 스트라이드로 3×3 커널을 콘볼루션하는 것과 동일합니다(즉 i’ = 2, = 3, k’ = k, s’ = 1 그리고 p’ = 2)

4.6 제로 패딩, 다중 스트라이드, 전치

콘볼루션의 입력이 가 의 배수인 의 크기를 가질 때 식 9와 식 12를 조합하여 제로 패딩된 경우로 확장시킬 수 있습니다.(역주: 식 6에서 내림[floor] 함수를 떼어내기 위한 가정입니다)

식 13. , , 그리고 가 의 배수인 를 가지는 콘볼루션은 , , 그리고 인 전치 콘볼루션과 관련이 있습니다. 여기서  는 입력의 각 원소 사이에 개의 0이 추가되어 늘어난 입력 크기 입니다. 이 출력의 크기는,

(역주: 이는 식 6에서 내림 함수를 떼고 난 후 와 가 바뀐 식입니다)

그림 4.6은 , , 그리고 인 예입니다.

그림 4.6: 1×1 테두리로 제로 패딩된 5×5 입력에 대해 2×2 스트라이드로 3×3 커널을 전치 콘볼루션하기(즉 i = 5, k = 3, s = 2 그리고 p = 1). 이는 1×1 테두리로 제로 패딩되고 입력 원소 사이에 1개의 0이 삽입된 3×3 입력에 대해 단일 스트라이드로 3×3 커널을 콘볼루션하는 것과 동일합니다(즉 i’=3, = 5, k’ = k, s’ = 1 그리고 p’ = 1).

가 동일할 때 같은 를 만드는 입력 사이즈 를 추가적인 파라메타 로 표현을 확장할 수 있습니다.

식 14. , , 인 콘볼루션은 , , 그리고 인 전치 콘볼루션과 관련이 있습니다. 여기서  는 입력의 각 원소 사이에 s – 1 개의 0이 추가되어 늘어난 입력의 크기 이고 는 입력의 상단과 오른쪽에 추가된 0의 갯수를 나타냅니다. 이 출력의 크기는,

(역주: 이는 식 6에서 내림 함수를 고려하여  와 를 바꾼 식입니다)

그림 4.7은 , , 그리고 인 예입니다.

그림 4.7: 1×1 테두리로 제로 패딩된 6×6 입력에 대해 2×2 스트라이드로 3×3 커널을 전치 콘볼루션하기(즉 i = 6, k = 3, s = 2 그리고 p = 1). 이는 1×1 테두리와 위와 오른쪽에 하나가 추가로 제로 패딩되고 입력의 원소 사이에 1개의 0이 삽입된 3×3 입력에 대해 단일 스트라이드로 3×3 커널을 콘볼루션하는 것과 동일합니다(즉 i’ = 3, = 5, a = 1, k’ = k, s’ = 1 그리고 p’ = 1).

• Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., Corrado, G. S., Davis, A., Dean, J., Devin, M., et al. (2015). Tensorflow: Large-scale machine learning on heterogeneous systems. Software available from tensorflow.org .
• Bastien, F., Lamblin, P., Pascanu, R., Bergstra, J., Goodfellow, I., Bergeron, A., Bouchard, N., Warde-Farley, D., and Bengio, Y. (2012). Theano: new features and speed improvements. arXiv preprint arXiv:1211.5590.
• Bergstra, J., Breuleux, O., Bastien, F., Lamblin, P., Pascanu, R., Desjardins, G., Turian, J., Warde-Farley, D., and Bengio, Y. (2010). Theano: A cpu and gpu math compiler in python. In Proc. 9th Python in Science Conf , pages 1–7.
• Boureau, Y., Bach, F., LeCun, Y., and Ponce, J. (2010a). Learning mid-level features for recognition. In Proc. International Conference on Computer Vision and Pattern Recognition (CVPR’10). IEEE.
• Boureau, Y., Ponce, J., and LeCun, Y. (2010b). A theoretical analysis of feature pooling in vision algorithms. In Proc. International Conference on Machine learning (ICML’10).
• Boureau, Y., Le Roux, N., Bach, F., Ponce, J., and LeCun, Y. (2011). Ask the locals: multi-way local pooling for image recognition. In Proc. International Conference on Computer Vision (ICCV’11). IEEE.
• Collobert, R., Kavukcuoglu, K., and Farabet, C. (2011). Torch7: A matlab-like environment for machine learning. In BigLearn, NIPS Workshop, number EPFL-CONF-192376.
• Goodfellow, I., Bengio, Y., and Courville, A. (2016). Deep learning. Book in preparation for MIT Press.
• Im, D. J., Kim, C. D., Jiang, H., and Memisevic, R. (2016). Generating images with recurrent adversarial networks. arXiv preprint arXiv:1602.05110.
• Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R., Guadar-rama, S., and Darrell, T. (2014). Caffe: Convolutional architecture for fast feature embedding. In Proceedings of the ACM International Conference on Multimedia, pages 675–678. ACM.
• Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pages 1097–1105.
• Le Cun, Y., Bottou, L., and Bengio, Y. (1997). Reading checks with multilayer graph transformer networks. In Acoustics, Speech, and Signal Processing, 1997. ICASSP-97., 1997 IEEE International Conference on, volume 1, pages 151–154. IEEE.
• Long, J., Shelhamer, E., and Darrell, T. (2015). Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3431–3440.
• Radford, A., Metz, L., and Chintala, S. (2015). Unsupervised representa- tion learning with deep convolutional generative adversarial networks. arXiv preprint arXiv:1511.06434.
• Saxe, A., Koh, P. W., Chen, Z., Bhand, M., Suresh, B., and Ng, A. (2011). On random weights and unsupervised feature learning. In L. Getoor and T. Scheffer, editors, Proceedings of the 28th International Conference on Machine Learning (ICML-11), ICML ’11, pages 1089–1096, New York, NY, USA. ACM.
• Visin, F., Kastner, K., Courville, A. C., Bengio, Y., Matteucci, M., and Cho, K. (2015). Reseg:  A recurrent neural network for object segmentation.
• Zeiler, M. D. and Fergus, R. (2014). Visualizing and understanding convolu-tional networks. In Computer vision–ECCV 2014, pages 818–833. Springer.
• Zeiler, M. D., Taylor, G. W., and Fergus, R. (2011). Adaptive deconvolutional networks for mid and high level feature learning. In Computer Vision (ICCV), 2011 IEEE International Conference on, pages 2018–2025. IEEE.

안녕하세요. 눈팅만 하다가 처음 글을 쓰네요.
평소 국내 머신러닝 연구자분들이 번역해주시는 자료들을 잘 읽고 있었는데요
요새, 머신러닝 관련 좋은 영어 블로그 포스트가 많이 나와서
좀 자세히 읽어보려는 목적으로, 글을 번역해서 블로그에 올리고 있습니다. 제가 영어실력이 미천하여서, 좋은 번역이라고는 할수 없고 자신도없어서 번역된것으로 훑어보시고, 더 자세히는 원문읽는식으로  혹시나 도움이 되실분들이 있을까 해서 공유해봅니다.  감사합니다.

쉽게 쓰여진 MCMC:
http://blog.naver.com/rupy400/220775812498

자연어 처리 문제를 해결하는 CONVOLUTIONAL NEURAL NETWORKS 이해하기 :
http://blog.naver.com/rupy400/220776488979

IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW (한글 번역) :
http://blog.naver.com/rupy400/220777178142

딥러닝 챗봇, PART 1 – INTRODUCTION (한글번역)  :
http://blog.naver.com/rupy400/220781279491

딥러닝 챗봇 , PART 2 – IMPLEMENTING A RETRIEVAL-BASED MODEL IN TENSORFLOW(한글번역):
http://blog.naver.com/rupy400/220781859893

https://github.com/betars/Face-Resources

Face-Resources

Following is a growing list of some of the materials I found on the web for research on face recognition algorithm.

Papers

1. DeepFace.A work from Facebook.
2. FaceNet.A work from Google.
3. One Millisecond Face Alignment with an Ensemble of Regression Trees. Dlib implements the algorithm.
4. DeepID
5. DeepID2
6. DeepID3
7. Learning Face Representation from Scratch
8. Face Search at Scale: 80 Million Gallery

Datasets

1. CASIA WebFace Database. 10,575 subjects and 494,414 images
2. Labeled Faces in the Wild.13,000 images and 5749 subjects
3. Large-scale CelebFaces Attributes (CelebA) Dataset 202,599 images and 10,177 subjects. 5 landmark locations, 40 binary attributes.
4. MSRA-CFW. 202,792 images and 1,583 subjects.
5. MegaFace Dataset 1 Million Faces for Recognition at Scale 690,572 unique people
6. FaceScrub. A Dataset With Over 100,000 Face Images of 530 People.
7. FDDB.Face Detection and Data Set Benchmark. 5k images.
8. AFLW.Annotated Facial Landmarks in the Wild: A Large-scale, Real-world Database for Facial Landmark Localization. 25k images.
9. AFW. Annotated Faces in the Wild. ~1k images. 10.3D Mask Attack Dataset. 76500 frames of 17 persons using Kinect RGBD with eye positions (Sebastien Marcel)
10. Audio-visual database for face and speaker recognition.Mobile Biometry MOBIO http://www.mobioproject.org/
11. BANCA face and voice database. Univ of Surrey
12. Binghampton Univ 3D static and dynamic facial expression database. (Lijun Yin, Peter Gerhardstein and teammates)
13. The BioID Face Database. BioID group
14. Biwi 3D Audiovisual Corpus of Affective Communication. 1000 high quality, dynamic 3D scans of faces, recorded while pronouncing a set of English sentences.
15. Cohn-Kanade AU-Coded Expression Database. 500+ expression sequences of 100+ subjects, coded by activated Action Units (Affect Analysis Group, Univ. of Pittsburgh.
16. CMU/MIT Frontal Faces . Training set: 2,429 faces, 4,548 non-faces; Test set: 472 faces, 23,573 non-faces.

Trained Model

1. openface. Face recognition with Google's FaceNet deep neural network using Torch.
2. VGG-Face. VGG-Face CNN descriptor. Impressed embedding loss.