23 November 2023 in IEEE Access
In this study, a systematic literature review was conducted to examine the significant works in the literature on low-resource neural machine translation. Within the scope of the study, three research questions were identified to examine the low-resource neural machine translation literature. According to the inclusion and exclusion criteria, 45 studies were selected for review. After the relevant studies were identified, three research questions were aimed to be answered. The first research question is to identify the study directions and language pairs used in low-resource neural machine translation. The second research question aims to identify which deep learning methods are used in low-resource neural machine translation and which metrics are used to evaluate these methods. The third research question is to determine the bilingual and monolingual corpora used in the studies and the preferred development environments. In addition, the studies with the most commonly used language pairs were analyzed, and directions for future studies were made.
14 February 2025 in IEEE Access
This study presents a novel translation framework by combining transfer learning and part-of-speech (POS) tagging methods to improve the performance of low-resource neural machine translation models using Kazakh-English and Turkish-English language pairs. It is aimed to maximize the effectiveness of transfer learning by taking advantage of the structural similarities of Turkish and Kazakh languages and to obtain more accurate and consistent translation results by integrating grammatical and syntactic information into the model with POS tags. For Kazakh, POS tags were generated using the RoBERTa model, while for Turkish, the Zemberek library was employed, and these tags were used as an additional feature in Transformer-based models. The findings show that using transfer learning and POS tags alone increases the performance, but when these two methods are used together, more meaningful and consistent results are obtained. The results obtained in the study are examined with BLEU, chrF, and METEOR metrics, and detailed analyses are made. The models created for the Kazakh-English translation direction are compared with different models, and it is seen that much better results are obtained with the methods used. For the Turkish-English translation direction, the results were examined using Tatoeba and TED2020 corpora of different sizes. In particular, significant improvements were observed in the experiments conducted on the Tatoeba corpus, and significant increases were obtained in the examined metrics. In this context, the methods applied in the study achieved successful results for low-resource languages, and the generalizability of the proposed approach was demonstrated with the use of different corpora and language pairs.
20 August 2025 in IEEE Access
Neural machine translation is one of the most significant research area with the widespread use of deep learning. However, unlike other problems, machine translation includes at least two languages. Due to this situation, the amount of data between the languages to be translated is an important factor for translation success. On the other hand, low-resource languages have problems with the amount of data, which poses a significant challenge to the success of machine translation. Transformer models have achieved great success by modeling long-term dependencies with the self-attention mechanism. However, the feed forward layers (FFN) that follow each self-attention layer constitute almost all the non-embedding parameters of the model. On the other hand, studies in the literature have been conducted on the necessity of these FFN layers in the Transformer model and on different alternatives that can be used. Kolmogorov-Arnold networks (KAN) have recently come to the forefront as a new neural network architecture that has achieved success on many problems. The KAN structure can better learn patterns in complex data using learnable activation functions instead of fixed ones. Accordingly, this study proposes using KAN layers instead of FFN layers in the Transformer model for the low-resource translation problem. It is aimed to overcome the low-resource problem and to present a new alternative within the Transformer model employing the adaptive activation functions of KANs. In traditional Transformer models, FFN layers consist of two linear transformations and ReLU activation functions. In the proposed structure, firstly, the KAN structure is used instead of FFN layers in the Transformer model without any changes in the model dimensions. Then, experiments are conducted with lower-dimensional KAN layers and various parameter sets. The study is carried out using Turkish-English and Kazakh-English language pairs. Obtained findings reveal that using KAN layers instead of FFN layers in the Transformer model has a positive effect on the translation success and that KAN layers used in similar or lower dimensions significantly increase the success of the Transformer model.
30 April 2020 in European Journal of Science and Technology
Şifreleme sistemleri gizli değerlerin korunmasını sağlamakta olan sistemlerdir. Bu sistemlere karşı son yıllarda kuantum bilgisayarlar üzerinde çok sayıda araştırmalar yapılmaktadır. Yeterli işlem kapasitesine sahip kuantum bilgisayarlar üretildiğinde günümüzde kullanılmakta olan açık anahtarlı şifreleme sistemlerinin güvensiz duruma geleceği düşünülmektedir. Bu durum internet üzerindeki haberleşmenin güvenliğini tehlikeye atmaktadır. Bu durumdan dolayı, kuantum bilgisayarlara karşı güvenli sistemlerin oluşturulması için kuantum bilgisayarların günlük hayata girmesinin beklenmemesi gerektiği düşünülmektedir. NIST bu doğrultuda hem günümüz hem de kuantum bilgisayarlardan gelecek ataklara karşı dayanıklı kriptosistemlerin üretilmesi için bir standartlaştırma proje başlatmıştır. Bu süreçte birçok sistem önerilmiştir. Kafes tabanlı sistemler en çok gelecek vadeden sistemler olarak ön plana çıkmıştır. Kafes tabanlı kriptosistemler kafes yapısı üzerinde tanımlı olan LWE gibi problemlerin çözümlerinin zorluğuna dayanarak önerilmiş olan sistemlerdir. Fakat yan kanal saldırıları ile kriptografik sistemler çalışırken çıkan bilgiler toplanarak gizli anahtar hakkında bilgi edinilebilmektedir. Bu durumdan dolayı NIST kuantum bilgisayarlara karşı dayanıklı şifreleme sistemleri için yaptığı çağrının yanı sıra, yapılacak sistemlerin minimum maliyetle yan kanal saldırılarına karşı dayanıklı olmasını gerektiğini söylemiştir. 2016 yılında Bindel ve arkadaşlarının yaptıkları bir çalışmada uygulama atağı olarak sınıflandırılan ve bir yan kanal saldırı çeşidi olan hata ataklarını önermişlerdir. 2018 yılında Han ve arkadaşları yaptıkları bir çalışmada, 2016 yılında önerilen yöntemleri kullanarak Lizard protokolünde gizli anahtarı elde edebildiklerini söylemişlerdir ve bu ataklara karşı alınabilecek önlemlerden bahsetmişlerdir. Bu çalışmada; önceden yapılan çalışmalarda önerilenler ve kriptosistemlerin uygulamalarında olması gereken özellikler doğrultusunda Lizard protokolünün uygulaması üzerinde yapılan değişikliklerden ve bu değişikliklerin uygulama üzerindeki etkilerinden bahsedilmiştir. Protokolün uygulamasının güvenliği artırılmış ve gerçekleştirilen bazı hata ataklarına karşı önlem alınmıştır. Yapılan değişikliklerden sonra protokolün çalışma süresinde hızlanma olduğu gözlemlenmiştir.