https://bcnailab.com/2018/05/07/deeplearning-face-analysis-pipeline-conclusions/

https://bcnailab.com/2018/04/19/i-trained-a-racist-artificial-intelligence/

La primera vez que vi la gran actualización de Marzo del 2015 en el Google Photos de Android supe que algo estaba pasando y que aquello estaba pasando muy lejos de mí. ¡Google estaba reconociendo e interpretando fotos! ¿cómo podía eso estar pasando? Me llevó tiempo hacerme una vaga idea de como lo podían estar haciendo y empezar a googlear hacia la dirección correcta. Estaban usando Inteligencia Artificial aquello parecía una broma soy una persona muy escéptica con los buzz words en tecnología, en aquella época yo estaba tratando de ponerme al día asistiendo a todos los meetups, convenciones o presentaciones que me fueran posible en Barcelona pero nadie estaba hablando de IA. Por suerte, había gente hablando de BigData, Hadoop etc… y pude intentarlo con algún curso de Machine Learning en Coursera pero costaba pasar de la primera lección. Un día asistí a un meetup en la UPC sobre data science por el profesor Oriol Puojol y donde se presentaba y compré el libro del profesor Jordi Torres “Hello Word en Tensorflow”. Aquello fue muy inspirador, me encantó el ambiente y enseguida busqué cursos y estudios en la UPC. Encontré los Másters de la facultad de informática y al final entre el de BigData o IA me decidí por este último (y ellos se decidieron por mí ;) El objetivo de este post sería llegar a titularse “Inteligencia Artificial explicada a mi abuela” pero como esto es difícil tengo otro post en el que si que cumplo mi objetivo y es explicaros como ha ido mi MSc en Inteligencia Artificial y que espero que pueda ayudar a alguien a dar al salto.

No ha sido nada fácil pero la cantidad de nuevas ideas que surgen y las posibilidades de aplicación en los negocios hacen que el esfuerzo haya valido la pena. Aplicar Inteligencia Artificial a productos y servicios consiste en unas fases cíclicas alrededor del dato digitalizado dificil de entender yo a mi abuela le diría que un dato digital son todo números y se quedaría tan contenta. El ciclo sería: adquirir datos, procesarlos, reconocerlos (encontrar patrones) y tomar decisiones. La IA toma parte y está implicada en todas las partes de este ciclo y por ello tiene tantas disciplinas con nombres tan diferentes.

Para adquirir datos tenemos Computer Vision para imágenes o vídeos y Natural Language Processing para trabajar con texto (mantengo los nombres en ingés porque es mucho más fácil para googlearlo y seguir aprendiendo). Todos estos datos digitales adquiridos (esos números) se agrupan en matrices o vectores que pueden ser tratados con algoritmos matemáticos. Yo veo un algoritmo como una serie de pasos que se pueden seguirse repetitivamente para transformar y actuar sobre esos números agrupados en matrices. Los ordenadores son máquinas de cálculo y para procesar y entender esos números usan diferentes algoritmos construidos y evolucionados ad-hoc para cada tarea y cada tipo de dato y todo esto se hace y se ejecuta con programas informáticos. Si, Inteligencia Artificial es software son programas informáticos.

Para procesar y reconocer patrones de estos datos adquiridos usamos lo que se llama Machine Learning. Esas imágenes o esos textos se usan en otros programas informáticos desarrollados por científicos y que conocemos como técnicas de Computer Intelligence como podrían ser Neural Networks, Bayesian Networks o Genetic Algorithms entre centenares de otras que existen y que pueden, por ejemplo, predecir el resultado de un serie de datos (cuanto debería medir esta persona si cumple estas características) o clasificar la imagen que estamos observando (decir a que clase pertenece). Si a tu programa informático le pasas imágenes de playas el debe ser capaz de decirte que aquello es una playa (clasificación) o si el programa le pasas un texto que diga “no me gusta la comida” el debe ser capaz de predecirte un futuro cliente descontento. Esto es automatización esto hace posible encontrar conocimiento entre el inmenso ecosistema digital sin tener que emplear a centenares de personas en ello. Machine Learning es la gasolina de muchas de las empresas que saben las horas que duermes o los pasos que has dado porque detrás de los sensores (smartbands) hay machine learning, detrás de los recomendadores de Netflix hay machine learning, detrás de Snapchat hay computer vision detrás de muchos call centers hay natural language processing etc..

Finalmente hay otras disciplinas que estudias en un máster de IA como Knowledge Discovering, Multiagent Systems o Planning and Reasoning que aplicarían a la parte de toma de decisiones con esos datos, muchas de ellas están relacionadas con la robótica. Si queremos ir más alla (que llamar a servicios API de clouds de Amazon o Google) y tratar de entender que hay detrás de la IA, encontraremos centenares de bellas técnicas matemáticas construidas durante decenas de años de ciencia aplicada e inspirada en la vida y la evolución para hacer a su vez evolucionar los límites de la computación. Personalmente no me gustan los términos relacionados con la inteligencia humana y el cerebro animal. Creo que alejan y prejuician además de crear peligrosas asociaciones (miedo a la IA) pero es innegable la inspiración en disciplinas como Computer Intelligence. Hace 15 años construir y mantener sitios web era una tarea mucho más complicada que hoy en día. El Hosting era una sorpresa nueva cada día -sobre todo si recibías visitas- hoy todo esto ya no ocurre ni por asomo y creo que la IA seguirá el mismo camino (espero que el del open source) y será mucho más accesible para todo el mundo y es ahí donde veremos florecer cosas increíbles que cambiarán las maneras como las empresas construyen mejores productos y servicios

Me encanta este Tweet de François Chollet porque reafirma la idea que trato de transmitir “Neural networks are a sad misnomer. They’re neither neural nor even networks. They’re chains of differentiable, parameterized geometric functions, trained with gradient descent (with gradients obtained via the chain rule). A small set of highschool-level ideas put together” Redes Neuronales un mal nombre para una serie de aplicaciones de funciones matemáticas de secundaria.

The conclusions presented after the 5th EmotiW Challenge were that Deep learning based methods outperform traditional vision, machine learning methods, so use a ConvNet will be a good idea an transfer learning is another good idea if you lack a lot (a lot is A LOT) of data. It does not exists big and labeled face emotions datasets so it is recommendable and necessary train your network transferring the learned features of another network. I collected around 36k faces (labeled with emotions) and VGGFace2 was trained from scratch with a dataset that contained 3.31 million images of 9131 subjects. Retraining 30 epochs of my network in an K80 12 Gigas RAM GPU takes around 9 hours, make your numbers.

Digits and also Caffe has excelent tutorials in fine tuning but it lacks some practical details about layer names and learning rate. So, for transfer learning you have to had the trained model and touch some layers of your network. With Digits and using Caffe (as our transfer model was trained with Caffe) you previously need : a builded dataset with x emotions examples and a trained model, VGG faces in our case.

As you can see, we choose the following solver options (remember this is a Caffe framework model)

• Only 10 epochs as our budget is limited but also because this kind of models converge very quickly from the firsts epochs .
• A batch size of 60 if you use a GPU with 12 gigabytes (p2.xlarge aws instance) and your 224x224 images.
• Image mean substraction, necessary for data normalization
• Dataset images in 224x224 size (as VGG16 requirement)
• Learning rate of 0.001 in my experience this is the most insanely critical hyperparameter that you can touch.

In our case as I mentioned in my first post we choose the VGG16 trained by the University of Oxford. I used the VGG Faces model and it worked smoothly from the first experiments we obtained accuracys up to 80%. As I fine tuned networks at the same time I was constructing the dataset I firstly build a network with a dataset of 9k images and after training this network I repeated the process with the total dataset of 36k images and importing the weights of the first trained model (the 9k images). The results were excellent :)

The second part is just relative to the structure of the network and you can find my prototxt files in my github. As it has been already mentioned this is a VGG16 network if you want to learn more about how and why it works (specially the 3x3 filter) just check their papers in our case we tested two combinations one necessary and one as extra ball. How Caffe do fine-tuning is very simply but not clearly explain (in my opinion) it’s very simple:

• change the name of the layers you want the network relearn
• put to 0 the learning rate multipliers of the layers you freeze (the ones that you keep the weights) param { lr_mult: 0.0 decay_mult: 0.0 } but i’m not sure if this is necessary
• add the necessary last Fully connected layer with the number of outputs depending of the number of classes your dataset has

layer { name: “fc8-retrain4” type: “InnerProduct” bottom: “fc7” top: “fc8-retrain4” param { lr_mult: 1.0 decay_mult: 2.0 } param { lr_mult: 1.0 decay_mult: 2.0 } inner_product_param { num_output: 7 weight_filler { type: “xavier” std: 0.02 } bias_filler { type: “constant” value: 0.2 } }}

In Digits new model you choose a “custom model” modify your structure, and don’t forget to always visualize it before start training. Then, indicate the path of your trained network the one containing the weights that will be copied to the layers that you did not rename.

In our case we make two experiments retraining a last convolutional layer (as we added new data to the dataset) and adding a 7 outputs fully connected layer or just adding the last FC layer. You will see the differences in accuracy in the last post of this series.

I hope it is a little beat more clear than the excellent Nvidia and Caffe tutorials In the third post I will present an inference model, how to deal with input images (you have to crop the faces and frontalize it) and present my results that are more than acceptable :)

For a matter of time and legibility I would write this article in three phases, this is the first one. The main problem found during this project is the the absence of datasets there is not big public datasets available and neither classifying facial expressions there is more available around Facial Action Coding Units I have build a list of available datasets that can be requested as I don’t want to extend this article. The final dataset has less than 40k images and classes were quite unbalanced so we decide to do Data Augmentation as it is it is recommendable for ConvNets generalization and avoiding overfitting we do very subtle and random transformations (gaussian noise, rotation +-5º, flip horizontal and blurring). Considering how a ConvNet learns its weights it is a priority to scale in a uniform way the input training vectors, normalization improves the performance and stability of neural networks so the dataset images has also been cropped, resized and faces aligned in a horizontal line of the eyes.

Having such a small dataset the best solution was to do fine-tuning or transfer learning of an already trained network in our case we choose VGG16 as it is one of the best known models for general cases or input images (and there exists one model called VGGFaces). The plan is to build a first model with a small portion of the dataset (as we increase our dataset) and afterwards we will retrain the model with more input data reusing the already computed weights in the previous training phases. Back in 2014 VGG highlighted the importance of the depth in ConvNets building models of 16 and 19 layers, they achieved it basically by reducing to it’s minimum expression (3x3) the filter of each layer. We will present the architecture of the model lately but now let’s talk about Digits.

Nvidia Digits is a software that has been more than adequate for the necessities of our project and it’s characteristics covers all our necessities. It is very comfortable if you don’t want to code and you adapt your requirements to it’s limitations. I will recommend to use the dockerized version at it is more portable for different environments (laptop, on-premise instalations, AWS, GCE, Azure…) as you always have the same configurations. In my case I have a small GPU in my laptop so I can learn and test about the framework before doing computing in the cloud (AWS in my case). I also like Digits because it will smoothly works with my Nvidia Jetson TX1 that I will use for doing inference (I already tested it and it works but it is necessary a little trick in the labels.txt)

In the next parts I will talk how to fine-tuning VGG16 with Nvidia Digits

https://bcnailab.com/2018/01/22/studying-a-msc-in-artificial-intelligence/

https://bcnailab.com/2018/01/16/artificial-intelligence-is-easy-because-i-do-it/