O sensor de imagem AI da Sony faz a inteligência da câmera diretamente no chip

Os sensores de câmera da Sony já estão dentro de muitos dos smartphones de última geração, mas seu novo sensor de imagem AI promete tornar as coisas ainda mais inteligentes – e os recursos de última geração mais baratos também. A Sony IMX500 não inclui apenas um CMOS de 12,3 megapixels capaz de vídeo com resolução 4K, mas um processador de IA dedicado que pode fazer aprendizado de máquina e muito mais.

Normalmente, o sensor de imagem é exatamente isso: um sensor que captura imagens. O que realmente aconteceu com essas fotos e vídeos é do restante do dispositivo, e vimos vários fabricantes de telefones desenvolverem seus próprios coprocessadores dedicados, focados apenas em analisar suas cenas, aplicando HDR baseado em IA e outros efeitos e usando o aprendizado de máquina para identificar cenas e pessoas.

A Sony IMX500 promete fazer tudo isso, mas no próprio chip de sensor único. O chip de pixel é empilhado em cima de um chip lógico, este último não apenas executando as operações convencionais do sensor de imagem, mas tendo um ISP para processamento de sinal de imagem e um DSP original dedicado ao processamento de sinal de AI. Ele também possui memória exclusiva para uso do modelo de IA.

No momento, os benchmarks para tarefas de inteligência artificial são flexíveis e comparar o desempenho do aprendizado de máquina pode ser complicado. A Sony diz que o IMX500 pode processar 3,1 milissegundos para o MobileNet V1, por exemplo, o que faz reconhecimento de objetos. A coisa toda pode ser concluída no espaço de um único quadro de vídeo.

Obviamente, essa não é a primeira vez que vimos a IA usada em fotografia e vídeo. O argumento da Sony para o novo sensor, no entanto, é que ele tem o benefício de acessibilidade, segurança e desempenho, tudo em um. O processamento baseado em nuvem é relativamente barato, mas você precisa obter o conteúdo de e para a nuvem, e há preocupações com a privacidade. O processamento no dispositivo com um co-processador dedicado, como vimos Apple, Google, Huawei e outros tentar, é mais rápido e mais seguro, mas aumenta o custo.

A solução da Sony promete desempenho e privacidade. Também será flexível, pois os fabricantes de dispositivos poderão criar seu próprio modelo de IA e carregá-lo na memória incorporada.

Não se espera que o IMX500 apareça em smartphones, pelo menos não inicialmente. O público-alvo da Sony, inicialmente, são câmeras industriais e para tarefas específicas, por exemplo, em lojas ou fábricas. Uma câmera baseada em IMX500 carregada com uma IA de rastreamento de pessoas, por exemplo, pode identificar quantas pessoas estão passando por uma loja e analisar quais áreas são mais populares. Em uma fábrica, ele pode rastrear produtos e destacar problemas na produção ou na equipe.

Enquanto isso, para as câmeras de segurança conectadas, o sensor pode ser carregado com uma IA treinada para diferenciar animais e pedestres, ou para destacar quando um caminhão de entrega está parando em comparação com o passado. Isso pode resultar em notificações mais úteis, além de reduzir os custos de processamento na nuvem.

A câmera em si pode gravar vídeo 4K em até 60 qps ou vídeo 1080p em até 240 qps. Ele cai para 30 fps se você deseja um processamento AI completo ao mesmo tempo. Para fotos, ele captura até 4056 x 3040 imagens.

A Sony diz que começou a enviar amostras do chip vazio no mês passado e espera enviar o produto embalado a partir de junho. É provável que também chame a atenção da equipe de IA da Sony, a divisão recém-formada da empresa que visa aplicar a tecnologia de sensores à inteligência artificial, robótica e fotografia. Os primeiros produtos a realmente chegar ao mercado usando o IMX500 provavelmente chegarão no primeiro trimestre de 2021.

Artigos Relacionados

Back to top button