Determining rheumatoid arthritis and osteoarthritis diseases with plain hand x-rays using convolutional neural network

Abstract

Recent advances in computer technology have facilitated the acquisition of high-resolution images and processing of images. Convolutional neural network (CNN) is a branch of deep learning. CNN was first introduced in 1995 by LeCun, and in 2012, AlexNet won the ImageNet Large-Scale Visual Recognition Challenge (ILSVRC), after which there was rapid growth in deep learning applications. There are many successful studies using CNN especially in dermatology, pathology, radiology and ophthalmology. CNN highly successful in feature extraction and classification and requires less pre-processing. But in the CNN method, overfitting is an important problem that needs to be addressed and requires a large data set for training. If there is not enough data for CNN training from scratch, previously trained CNN network from the natural image data set are used for transfer learning. Transfer learning is the use of a pre-trained model for a new problem. In recent years, there have been a few studies showing that CNN models trained with natural images have achieved successful results in the medical field. Rheumatoid arthritis (RA) and hand osteoarthritis (OA) are two different diseases that cause pain, swelling, tenderness, loss of function in hand joints. In these diseases, affected joints and radiologic lesions show some differences. Treatment of both diseases is also different. Conventional plain hand X-Rays (CR) are often used to diagnosis, differential diagnosis of RA and OA. The aim of this study is to develop a software that will help physicians for differential diagnosis of RA and OA from CR. To the best our knowledge, this is the first study to distinguish between normal, hand OA and RA using plain hand radiographs. The efficiency of the created models was evaluated by using performance metrics such as accuracy, sensitivity, specificity and precision. In this study, pre-trained GoogLeNet, ResNet50 and VGG16 networks were used, transfer learning was applied. Successful results were obtained from all three pre-trained networks. In this study, data augmentation, droupout, fine tuning, learning rate decay was applied to prevent overfitting. And during the training, no signs of overfitting were observed in the training chart.

Bilgisayar teknolojisindeki son gelişmeler, yüksek çözünürlüklü görüntülerin elde edilmesini ve görüntülerin işlenmesini kolaylaştırmıştır. Konvolüsyonel sinir ağı (CNN) derin öğrenmenin bir dalıdır. CNN ilk olarak 1995 yılında LeCun tarafından tanıtıldı ve 2012'de AlexNet, ImageNet Büyük Ölçekli Görsel Tanıma Mücadelesini (ILSVRC) kazandı ve ardından derin öğrenme uygulamalarında hızlı bir büyüme oldu. Özellikle dermatoloji, patoloji, radyoloji ve oftalmoloji alanlarında CNN kullanımı ile ilgili birçok başarılı çalışma vardır. CNN özellik çıkarma ve sınıflandırma konusunda oldukça başarılı ve daha az ön işleme ihtiyaç duyar. Ancak CNN yönteminde, overfitting ele alınması gereken önemli bir sorundur ve CNN eğitimi için çok sayıda veri gerekir. Sıfırdan CNN eğitimi için yeterli veri olmadığında, daha önce doğal görüntü veri setinden eğitilmiş CNN ağı öğrenme transferi için kullanılır. Öğrenme transferi, yeni bir problem için önceden eğitilmiş bir modelin kullanılmasıdır. Son yıllarda, doğal görüntüler ile eğitilmiş CNN modelleri ile tıp alanında başarılı sonuçlar elde edildiğini gösteren birkaç çalışma vardır. Romatoid artrit (RA) ve el osteoartriti (OA), el eklemlerinde ağrı, şişme, hassasiyet, fonksiyon kaybına neden olan iki farklı hastalıktır. Bu hastalıklarda, etkilenen eklem ve radyolojik lezyonlar bazı farklılıklar göstermektedir. Her iki hastalığın tedavisi de farklıdır. Geleneksel düz el radyografileri (CR) RA ve OA ayırıcı tanısı için sıklıkla kullanılır. Bu çalışmanın amacı, hekimlere CR kullanılarak RA ve OA'nın ayırıcı tanısında yardımcı olacak bir yazılım geliştirmektir. Bilgimize göre, bu çalışma düz el radyografileri kullanarak normal, el OA ve RA'yı ayırt eden ilk çalışmadır. Oluşturulan modellerin verimliliği, doğruluk, hassasiyet, özgüllük ve kesinlik gibi performans ölçütleri kullanılarak değerlendirildi. Bu çalışmada, önceden eğitilmiş GoogLeNet, ResNet50 ve VGG16 ağları kullanılmış, öğrenme transferi uygulanmıştır. Önceden eğitilmiş her üç ağdan da başarılı sonuçlar alındı. Bu çalışmada, overfittingi önlemek için veri büyütme, droupout, ince ayar, öğrenme hızı azalması uygulanmış ve eğitim çizelgesinde overfitting izleri gözlenmemiştir.