Neural Style Transfer For Artists

A.G.
Design Science
Published in
5 min readSep 3, 2018

--

“Lincoln Style”. Style transfer and montage by A.G. © 2018. All Rights Reserved.

Neural style transfer is only a few years old. I have searched far and wide and have found very few professional artists who actually use style transfer in their art work. “Deep Style” is still in its infancy. I have made a series of works based on style transfer methods and am now posting this “Lincoln Style” montage as a sort of monument to the use of machine intelligence in contemporary art practice. Each one of the versions of Abraham Lincoln’s portrait was made using the style of famous artists.

Le transfert de style neural n’a que quelques années. J’ai cherché partout et j’ai trouvé très peu d’artistes professionnels qui utilisent le transfert de style dans leurs œuvres d’art. Le “Style Profond” en est encore à ses débuts. J’ai réalisé une série d’œuvres basées sur les méthodes de transfert de style et j’affiche maintenant ce montage “Lincoln Style” comme une sorte de monument à l’utilisation de l’intelligence artificielle dans la pratique de l’art contemporain. Chacune des versions du portrait d’Abraham Lincoln a été réalisée dans le style d’artistes célèbres.

Le Promeneur de Nuit (Hommage à Riopelle). Digital work by A.G. © 2018. All Rights Reserved.

At this point, I’ve searched everywhere for art work based on methods of neural style transfer and have really only found very ugly pictures done mostly by amateurs. Style transfer isn’t easy. It’s not like you just press a button and then “Voilà!” all is ready and done and machine intelligence has created a masterpiece on your behalf, autonomously.

A ce stade, j’ai cherché partout des œuvres d’art basées sur des méthodes de transfert de style neuronal et je n’ai vraiment trouvé que des images très laides faites la plupart du temps par des amateurs. Le transfert de style n’est pas facile. Ce n’est pas comme si vous appuyiez simplement sur un bouton et puis “Voilà!” tout est prêt et l’intelligence artificielle a créé un chef-d’œuvre en votre nom, de façon autonome.

View fom across the river. A.G. © 2018. All Rights Reserved.

Style transfer, or “Deep Style” as some have called it, takes a lot of work if you want it to be visually arresting. This means that you have to rework the image after the style transfer itself. This means that all of the fundamental rules of artistic creation remain valid and necessary, i.e. it means that your composition has to be top-notch, that your color harmony is done properly, etc. There are no free lunches, no panacea, in artistic creation.

Le transfert de style, ou “Style Profond” comme certains l’ont appelé, demande beaucoup de travail si vous voulez qu’il soit visuellement captivant. Cela signifie que vous devez retravailler l’image après le transfert de style lui-même. Cela signifie que toutes les règles fondamentales de la création artistique restent valables et nécessaires, c’est-à-dire que votre composition doit être de première qualité, que l’harmonie des couleurs est faite correctement, etc. Il n’y a pas de repas gratuits, pas de panacée, dans la création artistique.

Rue Ste-Anne. A.G. © 2018. All Rights Reserved.

Style transfer requires that one carefully chooses one’s “content image(s)” and “style image(s)”. It’s not a random process, you get the best results when you choose an appropriate style image that either has some pertinent forms, content, or color scheme, that resembles your content image. Otherwise you just get a version of van Gogh’s Starry Night that is a portrait of your cat.

Le transfert de style exige que l’on choisisse soigneusement son/ses “image(s) de contenu” et son/ses “image(s) de style”. Ce n’est pas un processus aléatoire, vous obtenez les meilleurs résultats lorsque vous choisissez une image de style approprié qui a des formes, un contenu ou un agencement de couleurs qui ressemble à votre image de contenu. Sinon, vous n’aurez qu’une version de la Nuit étoilée de van Gogh qui est un portrait de votre chat.

Rue Ste-Anne. A.G. © 2018. All Rights Reserved.

There are many methods of performing neural style transfers. There are applications that do it, and there is the more technical manner where you yourself use tensorflow or PyTorch or whatnot, on your actual computer. Style transfer is very resource-hungry, so using an application is great, but one of the benefits of doing it yourself on your computer is that you can get a much greater quality image as output, if you want.

Il existe de nombreuses méthodes pour effectuer des transferts de style neuronal. Il y a des applications qui le font, et il y a la manière plus technique où vous utilisez vous-même tensorflow ou PyTorch ou quoi que ce soit, sur votre ordinateur elle-même. Le transfert de style est très gourmand en ressources, donc l’utilisation d’une application est géniale, mais l’un des avantages de le faire vous-même sur votre ordinateur est que vous pouvez obtenir une image de bien meilleure qualité en sortie, si vous le souhaitez.

Église de Beloeil. A.G. © 2018. All Rights Reserved.

Neural style transfer is still in its infancy. As stated above, I have found few serious contemporary artists who use it as a method in their creative tool-box. There are very few high-quality images out there that one would consider to be “Fine Art” (in the digital realm). I’m not sure if many real artists will be drawn to this method. It seems mostly amateurs are using it to create “interesting” pictures, like selfies and so forth, using a mobile application like Prisma or Pikazo. Only time will tell the usefulness and the sustainability of said techniques.

Le transfert de style neural en est encore à ses balbutiements. Comme je l’ai dit plus haut, j’ai trouvé peu d’artistes contemporains sérieux qui l’utilisent comme méthode dans leur boîte à outils de création. Il y a très peu d’images de haute qualité que l’on pourrait considérer comme des “Beaux-Arts” (dans le domaine du numérique). Je ne sais pas si beaucoup de vrais artistes seront attirés par cette méthode. Il semble que la plupart des amateurs l’utilisent pour créer des images “intéressantes”, comme des selfies et ainsi de suite, en utilisant une application mobile comme Prisma ou Pikazo. Seul le temps nous dira l’utilité et la durabilité de ces techniques.

(*Coming soon: How neural style transfer works — for the non-technical).

A.G. © 2018. All Rights Reserved.

--

--