In computer vision applications, mobile devices can transfer the inference of Convolutional Neural Networks (CNNs) to the cloud due to their computational restrictions. Nevertheless, besides introducing more network load concerning the cloud, this approach can make unfeasible applications that require low latency. A possible solution is to use CNNs with early exits at the network edge. These CNNs can pre-classify part of the samples in the intermediate layers based on a confidence criterion. Hence, the device sends to the cloud only samples that have not been satisfactorily classified. This work evaluates the performance of these CNNs at the computational edge, considering an object detection application. For this, we employ a MobiletNetV2 with early exits. The experiments show that the early classification can reduce the data load and the inference time without imposing losses to the application performance.

O aprendizado de máquina já está presente em diversas aplicações cotidianas. Entretanto, determinar qual modelo utilizar é uma tarefa árdua devido ao grande número de opções disponíveis. Esse cenário torna-se ainda mais complexo em redes veiculares, onde as aplicações exigem baixa latência e os dispositivos são heterogêneos. Assim, torna-se necessário um mecanismo que estime o tempo de inferência e selecione o modelo mais apropriado para um dispositivo no qual será executado. Este trabalho propõe o DIGA, um sistema de seleção de modelos de aprendizado de máquina projetado para o setor automotivo. Considerando características do dispositivo e do modelo candidato, o sistema estima o tempo de inferência necessário para processar uma amostra e verifica se o modelo atende aos critérios de latência estabelecidos pela aplicação em um cenário com múltiplos dispositivos. Para estimar o tempo de inferência de cada modelo em um dispositivo, este trabalho compara o uso de um modelo matemático determinístico com quatro modelos diferentes de inteligência artificial generativa, usando como referência o tempo real de execução nos dispositivos. Os resultados mostram que modelos matemáticos determinísticos usados na literatura subestimam o tempo de inferência em 80% dos casos. Portanto, demonstra-se a necessidade de considerar a estrutura do modelo, pois o número de operações de ponto flutuante encontrado matematicamente é insuficiente para determinar o tempo de inferência.