Notícias

Estudante de engenharia cria IA que transforma língua de sinais em inglês em tempo real

Estudante de engenharia cria IA que transforma lingua de sinais em ingles em tempo real

Quando começou a cursar Ciências da Computação na Vellore Institute of Technology, universidade de tecnologia na cidade de Vellore, na Índia, a estudante Priyanjali Gupta, de 20 anos, se viu provocada por sua própria mãe a criar algo de real valor “agora que estava estudando engenharia”. A convocação materna se deu em fevereiro de 2021, e bateu fundo na jovem indiana, que se sentiu positivamente desafiada a criar algo que respondesse à altura: foi a partir de então que Gupta iniciou o desenvolvimento de um sistema de Inteligência Artificial capaz de “traduzir” a linguagem dos sinais para o inglês de forma imediata e eficaz, apresentado exatamente um ano depois, em fevereiro de 2022.

“Ela me fez contemplar o que eu faria com meu conhecimento e minhas habilidades. Um belo dia, em meio a conversas com a Alexa, me veio a ideia de uma tecnologia inclusiva, que disparou meus planos”, afirmou a jovem, em entrevista à imprensa local. O modelo criado por Gupta aproveita uma interface aberta Tensorflow de detecção de movimentos para “traduzir” os gestos realizados pelas mãos e transferir a um software de IA pré-treinado intitulado ssd_mobilenet, que “lê” a linguagem de sinais para o inglês. O modelo, por enquanto, é treinado para trabalhar com ‘frames’ individuais, como fotos das posições realizadas pelas mãos.

“O conjunto de dados foi feito manualmente com uma webcam de computador e anotações, e o modelo, por enquanto, é treinado com imagens individuais”, afirmou a estudante. “Para detectar vídeos, o modelo precisa ser treinado em frames múltiplos, para o qual estou inclinada a utilizar redes de memória longa de curto prazo”, disse, mencionando que o desenvolvimento de um modelo de aprendizado profunda para a linguagem de sinais é desafiador e difícil, e que por isso ela conta com a comunidade dos softwares em códigos abertos para melhorar e ampliar sua criação – divulgada em vídeo postado no Linkedin que viralizou rapidamente.

De acordo com a própria Priyanjali, seu modelo de tradução utilizando Inteligência Artificial para ler a linguagem de sinais em imagens foi inspirado em um vídeo realizado pelo cientista Nicholas Renotte sobre detecção de linguagem de sinais em tempo real. O trabalho da jovem também dialoga com a invenção criada pelos então estudantes Thomas Pryor e Navid Azodi, a Universidade de Washington, que, em 2016, inventaram uma luva chamada “SignAloud”, capaz de traduzir a linguagem de sinais em áudio e texto. Pelo projeto, a dupla conquistou um prêmio no programa Lemelson-MIT, dentro da renomada universidade Massachussetts Institute of Technology.

Estudante de engenharia cria IA que transforma lingua de sinais em ingles em tempo real1

Direitos autorais: Reprodução

Estudante de engenharia cria IA que transforma lingua de sinais em ingles em tempo real2

Direitos autorais: Reprodução

Estudante de engenharia cria IA que transforma lingua de sinais em ingles em tempo real3

Direitos autorais: Reprodução

 

0 %