Optimization the training algorithms of machine learning using GAN networks

Abstract

Yapay zekâ, son birkaç on yılda hayatımızda çok farklı yönleriyle yer bulmaya başladı. Bazı özelliklerinde yapay zekanın yer almadığı yeni bir ürün, günümüz dünyasında pek yer edinemez durumdadır. Bu, makine öğrenmesi algoritmalarında derin öğrenme tekniklerinin kullanılması ile mümkün olmuştur. Geleneksel makine öğrenmesi, ham veriyi algoritmalarda kullanılabilecek özelliklere çevirebilmek için insan akılının yer aldığı tasarım ve kodlamalara ihtiyaç duymaktadır. Fakat derin öğrenme ile doğrudan ham veriyi kullanarak özellikleri öğrenmek mümkündür. Bu da makine öğrenmesi sırasında alan uzmanı ihtiyacını oldukça azaltmaktadır. GANlar derin öğrenme alanında oldukça yeni bir ilerleme alanıdır. GANlar 2014'ten önce yoklardı. Onların makine üretmesi alanındaki kapasiteleri ve üretimdeki kaliteleri diğer üretici makine öğrenmesi tekniklerinden çok daha iyi durumdadır. Felsefeleri, verideki özellikleri tanımlamayı otomatik olarak öğrenen ve kendi kendini eleştirerek bunu yapan bir mantığa dayanmaktadır. GANlar, fotoğraf kalitesinde resimler üretmek, siyah-beyaz resimleri renklendirmek, basit bir çizimi gerçekçi bir resime dönüştürmek, resimlerin çözünürlüğünü artırmak, resimlerdeki hatalı-eksik yerleri onarmak, videolarda sonraki kareyi tahmin etmek, makine öğrenmesinde kullanmak üzere veri üretmek, geçekçi yazılar üretmek, gerçekçi müzik ve sesler üretmek için kullanılabilmektedir. GANların mimarisi derin öğrenme teknikleri arasında oldukça orijinaldir. Temel olarak birbiriyle yarışan iki sinir ağından oluşmaktadır. Yapıları oldukça zeki tasarlanmış ve oldukça ilginçtir. Fakat bu durum makine öğrenmesini oldukça zorlu ve kırılgan yapmaktadır. GANlar oldukça zor öğretilen, hataya açık ve optimizasyonu oldukça zor olarak tanınmaktadır. Bu tezde GANların optimizasyonuna odaklandık. GANların felsefeleri zorluklarda anahtar konumdadır. Bu sebeple öncelikle GANların eğitimindeki potansiyel zorlukları açıkladık. Daha sonra iyi olarak bilinen bazı GAN mimarilerini, bazı veri setleri ile eğitim sonuçlarını karşılaştırdık. Son olarak bazı temel yapısal öneriler ve optimizasyon parametreleri önerdik.

Artificial intelligence has started to be a part of our lives in many aspects over the past few decades. Developing new products without features using artificial intelligence is not reasonable in the contemporary world. It would not be possible if we were not using the deep learning techniques in machine learning algorithms. Traditional machine learning needs clever human design code that transforms raw data into input features for machine learning algorithms. But with deep learning, learning features from raw data directly are possible and this eases the requirement for subject-matter expertise. GANs are very recent advancement in the field of deep learning. They were not presented before 2014. Their capacity and quality of generating are far better than the other generative techniques in machine learning. Their philosophy is based on self-criticizing techniques for automatically learning representation of features. GANs can be used for generating photorealistic images, colorization, turning a simple sketch into a photorealistic image, increasing the resolution of an image, replacing photo defects with realistic patterns, predicting the next frames in a video, data augmentation, generating text, audio etc. data and more. GANs' architecture is very original in deep learning. They are made up of two neural networks that compete during training. Their structures are very clever and interesting but that leads us to very difficult training sessions. GANs are known as difficult to train, prone to failure and very difficult to hyper-tune. In this thesis we focused on the optimization of some of the GANs. Their philosophies are the key reason to difficulties. For this we first explain the potential difficulties of GANs' trainings. After we retrain some known GANs and compare the results. We propose some structural designs and some optimization parameters to achieve better performant GANs.