O rastreamento manual do Google MediaPipe é um bom presságio para AR e smartglasses

O Google pode ter sido menos do que consistente com seu compromisso com produtos de realidade virtual e aumentada, mas, quase ironicamente, está desenvolvendo as tecnologias que podem avançar nesses mercados. O Google tem investido particularmente em visão computacional e aprendizado de máquina que não precisam ser transferidos para servidores poderosos rodando na nuvem. Seu projeto de pesquisa mais recente, se realmente decolar, poderia tornar o rastreamento de mãos e dedos tão acessível quanto simplesmente usar uma câmera e um smartphone.

Muitos sistemas de RV e AR dependem do rastreamento da cabeça para posicionar e orientar o usuário no mundo digital, mas isso é tudo o que pode fazer. Quando se trata de tentar reproduzir movimentos e gestos normais da mão no mundo virtual, a maioria dos sistemas requer sensores, câmeras e equipamentos adicionais. A estrutura MediaPipe da Google Research, por outro lado, não precisa de nada além de um smartphone.

Como em qualquer ato mágico do Google, o segredo está relacionado ao aprendizado de máquina e à IA. Os pesquisadores tentam condensar o processo em conceitos mais compreensíveis, mas tudo se resume ao uso da visão computacional para detectar e analisar a palma da mão. Tudo o resto, incluindo a posição dos dedos, é calculado e previsto com base na caixa delimitadora inicial da mão. O MediaPipe passa a reconhecer os gestos dos 21 pontos-chave 3D produzidos pelos processos anteriores.

O que torna tudo isso ainda mais impressionante é o hardware necessário para fazer tudo isso. O objetivo do MediaPipe é fornecer esse sistema de reconhecimento de gestos com as mãos em tempo real e no dispositivo, neste caso, um smartphone. Além das implicações de privacidade e desempenho, também simplifica os requisitos para o reconhecimento preciso das mãos em qualquer dispositivo.

As aplicações de tal estrutura podem realmente ser bastante surpreendentes. Os smartphones podem implementar o controle de gestos com a mão sem sensores dedicados, como o Project Soli. Smartphones e fones de ouvido XR podem usar as mesmas câmeras e processadores que já possuem. Tudo o que resta é que o Google desenvolva seu verdadeiro ecossistema de RV e AR e cumpra-o nos próximos anos.

Artigos Relacionados

Back to top button