Spam filtering using big data and deep learning

Abstract

İstenmeyen (spam) e-postalar veya diğer oltalama (phishing) gibi sahte e-postalar, küresel ağ aracılığıyla hassas kişisel bilgi toplamayı amaçlayan veya illegal işlem yapmaya yönelik zararlı e-postalar olarak düşünülür. İnternette dolaşan birçok e-postanın içinde istenmeyen içerik bulunur ya da bu tür aldatıcı e-postalar oltalama gibi diğer sahte e-postalara benzer. Bu davranışın asıl amacı kullanıcıya fiilen zarar vermek veya toplumdan haksız çıkar sağlamak olduğundan, bu istenmeyen e-postalar aracılığıyla yapılan, kullanıcıların / müşterilerin kimlik bilgilerine yetkisiz erişimin önlenmesini derhal tespit etmek ve bu tespit için başarılı sınıflandırma yöntemleri kullanmak önemli rol oynamaktadır. İnternetteki milyarlarca e-postayı göz önünde bulundurursak, e-postaların temiz ya da sahte olup olmadığının otomatik olarak sınıflandırılması önemli bir sorundur. Bu tezde, e-postaların sahte olup olmadığıyla ilgili sınıflandırma yapmak için denetimli makine öğrenmesi ve özel olarak derin öğrenme metotları kullandık. Sonuçlarımızın da belirttiği gibi, derin öğrenmenin e-posta sınıflandırması yapmada %96 başarı oranıyla kayda değer bir etkisi vardır.

Spam e-mails and other fake, falsified e-mails like phishing are considered as spam e-mails, which aim to collect sensitive personal information about the users via network or behave against authority in an illegal way. Most of the e-mails around the Internet contain spam context or other relevant spam like context such as phishing e-mails. Since the main purpose of this behavior is to harm Internet users financially or benefit from the community maliciously, it is vital to detect these spam e-mails immediately to prevent unauthorized access to email users' credentials. To detect spam e-mails, using successful machine learning and classification methods are therefore important for timely processing of emails. Considering the billions of e-mails on the internet, automatic classification of emails as spam or not spam is an important problem. In this thesis, we studied supervised machine learning and specifically "deep learning" methods to classify emails. Our results indicate that deep learning is very promising in terms of successful classification of emails with an accuracy of up to 96%.