Advances in deep learning significantly affect reinforcement learning, which results in the emergence of Deep RL (DRL). DRL does not need a data set and has the potential beyond the performance of human experts, resulting in significant developments in the field of artificial intelligence. However, because a DRL agent has to interact with the environment a lot while it is trained, it is difficult to be trained directly in the real environment due to the long training time, high cost, and possible material damage. Therefore, most or all of the training of DRL agents for real-world applications is conducted in virtual environments. This study focused on the difficulty in a mobile robot to reach its target by making a path plan in a real-world environment. The Minimalistic Gridworld virtual environment has been used for training the DRL agent, and to our knowledge, we have implemented the first real-world implementation for this environment. A DRL algorithm with higher performance than the classical Deep Q-network algorithm was created with the expanded environment. A mobile robot was designed for use in a real-world application. To match the virtual environment with the real environment, algorithms that can detect the position of the mobile robot and the target, as well as the rotation of the mobile robot, were created. As a result, a DRL-based mobile robot was developed that uses only the top view of the environment and can reach its target regardless of its initial position and rotation.

In this paper, Convolutional Neural Networks (CNN) method was applied to low frequency scalograms in order to contribute to the development of diagnostic and early diagnosis systems of epileptic intracranial EEG (iEEG) signals of brain dynamics at preictal, ictal, and postictal states, and to achieve results that will be the basis for determining the pathological conditions of iEEG signals. As part of this study, iEEG data obtained from epileptic subjects were first decomposed into their subbands by discrete wavelet transformation, and then Shannon entropy was applied to these five subbands (delta, theta, alpha, beta, and gamma). The results obtained made us observe that the delta subband entropy value is lower than other subband entropy values. A low entropy value means that the data is less chaotic. A low degree of chaos means better predictability. Within this context, scalogram images of low-frequency delta subband were obtained at preictal, ictal, and postictal stages and treated with the CNN method, and consequently, a 93.33% accuracy rate was obtained.

Bu çalışmanın ana hedefi, iki ayaklı insansı robotlar için itme-kurtarma kontrolörleri geliştirmektir. İki ayaklı insansı robotlarda dışardan gelen itmelere karşı denge problemi oluşmaktadır. Bu makalede insansı robotlardaki denge problemlerine çözüm olacak kontrol yöntemleri önerilmiştir. Amacımız, insan gibi davranan iki ayaklı robotların dışardan gelen itmelere karşı denge pozisyonuna gelebilmesini sağlamaktır. İnsanlar dışarda gelen itmeler sonucunda denge problemleri ile karşılaştıklarında oldukça başarılı bir şekilde tepki vermektedirler. İki ayaklı insansı robotlarda ise bu yetenek sınırlıdır. Bunun başlıca sebebi insansı robotların karmaşık yapıları ve kapasitelerinin sınırlı olmasıdır. Gerçek dünyada insanların denge bozukluğu durumunda gösterdikleri tepkiler ele alınarak oluşturulan itme-kurtarma stratejileri bulunmaktadır. Bu stratejiler; ayak bileği, kalça ve adım stratejileridir. Bu çalışmada itme-kurtarma stratejilerinden ayak bileği stratejisini kullanılmıştır. Ayak bileği stratejisini kullanarak, farklı kontrol yöntemleri denenmiştir. Yapılan uygulamalarda üç farklı kontrol yöntemi kullanılmıştır. Bunlar; klasik kontrol yöntemi PID, tahmine dayalı olarak Model Predictive Control (MPC) ve derin pekiştirmeli öğrenme algoritmalarından Deep Q Network (DQN) yöntemleridir. Uygulamalar ROBOTİS-OP2 insansı robotu üzerinde gerçekleştirilmiştir. Simülasyon testleri ise Webots simülatöründe 3 boyutlu olarak yapılmıştır. Her bir yöntem ile insansı robot test edilmiş ve sonuçları karşılaştırılmıştır. Bu yöntemlerden derin pekiştirmeli öğrenme algoritması olan Deep Q Network (DQN) en iyi sonuç verdiği gözlemlenmiştir.

Günümüzde, İnsansız Hava Araçları(İHA) sınır güvenliği, sahil güvenliği, savunma, saldırı başta olmak üzere arama kurtarma, zirai ilaçlama, yangın söndürme gibi geniş bir kullanım alanına sahiptir. Bununla beraber İHA’nın bazı görevleri otonom bir şekilde yerine getirebilmesi ise bilgisayarlı görü sisteminin buna entegresi ile olur. Bu alandaki uygulamalarından biri olan havadan nesne tespiti uygulamaları, uzaklık, yakınlık kavramlarına bağlı olarak farklı boyutlardaki nesneleri tespit edememe, yavaş tespit, yanlış tahminleme gibi çeşitli hatalar içerebilir. Derin Öğrenme(DÖ) uygulamaları ile bu hataları en aza indrilebilir. Bu çalışmada VRAT[1] video setinden alınan görüntülerle YOLOv3 DÖ ağı eğitilmiş ve daha sonra DJI Mavic 2 Zoom İHA kamerasından elde edilen görüntülerle tekrar eğitim yapılarak videodaki araçların ve yayaların tespiti sağlanmıştır. Eğitim ve test süreci Google Colab Tesla T4 GPU makinesinde gerçekleştirilmiştir. Modelin performansı ilk ve ikinci eğitim için Loss, mAP 2.345, %79 ve 1.171, %70.09 olarak bulunmuştur.

Nowadays Field Programmable Gate Arrays(FPGAs) are used to implement several processes in different areas such military defense, medical devices, automation, telecommunication, and image processing etc. Some of the advantages of FPGA are parallel and hardware processing. On the other hand programming FPGAs by classic design methodologies requires much effort. Therefore, design tools like System Generator can provide facilities about programming FPGAs. System Generator is a design tool from Xilinx to program the Xilinx FPGAs in MATLAB/Simulink graphic based editor. Also its block set is limited with respect to Simulink, has. In this study square, and triangular waveforms are built with the basic blocks of System Generator tool. These waveforms belong to basic sources for signal processing. Generally, they are used in power electronics especially for producing PWM, or sinus PWM. Also co-simulation can be done by using System Generator. Square waveform block, which is implemented, has variable amplitude, frequency, duty cycle, and offset values whereas triangular waveform has variable amplitude, frequency, and offset values. Triangular waveform has an error as 2 % due to data bus width.