O sensor de imagem AI da Sony faz a intelig√™ncia da c√Ęmera diretamente no chip

O sensor de imagem AI da Sony faz a intelig√™ncia da c√Ęmera diretamente no chip

Os sensores de c√Ęmera da Sony j√° est√£o dentro de muitos dos smartphones de √ļltima gera√ß√£o, mas seu novo sensor de imagem AI promete tornar as coisas ainda mais inteligentes – e os recursos de √ļltima gera√ß√£o mais baratos tamb√©m. A Sony IMX500 n√£o inclui apenas um CMOS de 12,3 megapixels capaz de v√≠deo com resolu√ß√£o 4K, mas um processador de IA dedicado que pode fazer aprendizado de m√°quina e muito mais.

Normalmente, o sensor de imagem é exatamente isso: um sensor que captura imagens. O que realmente aconteceu com essas fotos e vídeos é do restante do dispositivo, e vimos vários fabricantes de telefones desenvolverem seus próprios coprocessadores dedicados, focados apenas em analisar suas cenas, aplicando HDR baseado em IA e outros efeitos e usando o aprendizado de máquina para identificar cenas e pessoas.

A Sony IMX500 promete fazer tudo isso, mas no pr√≥prio chip de sensor √ļnico. O chip de pixel √© empilhado em cima de um chip l√≥gico, este √ļltimo n√£o apenas executando as opera√ß√Ķes convencionais do sensor de imagem, mas tendo um ISP para processamento de sinal de imagem e um DSP original dedicado ao processamento de sinal de AI. Ele tamb√©m possui mem√≥ria exclusiva para uso do modelo de IA.

No momento, os benchmarks para tarefas de intelig√™ncia artificial s√£o flex√≠veis e comparar o desempenho do aprendizado de m√°quina pode ser complicado. A Sony diz que o IMX500 pode processar 3,1 milissegundos para o MobileNet V1, por exemplo, o que faz reconhecimento de objetos. A coisa toda pode ser conclu√≠da no espa√ßo de um √ļnico quadro de v√≠deo.

Obviamente, essa n√£o √© a primeira vez que vimos a IA usada em fotografia e v√≠deo. O argumento da Sony para o novo sensor, no entanto, √© que ele tem o benef√≠cio de acessibilidade, seguran√ßa e desempenho, tudo em um. O processamento baseado em nuvem √© relativamente barato, mas voc√™ precisa obter o conte√ļdo de e para a nuvem, e h√° preocupa√ß√Ķes com a privacidade. O processamento no dispositivo com um co-processador dedicado, como vimos Apple, Google, Huawei e outros tentar, √© mais r√°pido e mais seguro, mas aumenta o custo.

A solução da Sony promete desempenho e privacidade. Também será flexível, pois os fabricantes de dispositivos poderão criar seu próprio modelo de IA e carregá-lo na memória incorporada.

N√£o se espera que o IMX500 apare√ßa em smartphones, pelo menos n√£o inicialmente. O p√ļblico-alvo da Sony, inicialmente, s√£o c√Ęmeras industriais e para tarefas espec√≠ficas, por exemplo, em lojas ou f√°bricas. Uma c√Ęmera baseada em IMX500 carregada com uma IA de rastreamento de pessoas, por exemplo, pode identificar quantas pessoas est√£o passando por uma loja e analisar quais √°reas s√£o mais populares. Em uma f√°brica, ele pode rastrear produtos e destacar problemas na produ√ß√£o ou na equipe.

Enquanto isso, para as c√Ęmeras de seguran√ßa conectadas, o sensor pode ser carregado com uma IA treinada para diferenciar animais e pedestres, ou para destacar quando um caminh√£o de entrega est√° parando em compara√ß√£o com o passado. Isso pode resultar em notifica√ß√Ķes mais √ļteis, al√©m de reduzir os custos de processamento na nuvem.

A c√Ęmera em si pode gravar v√≠deo 4K em at√© 60 qps ou v√≠deo 1080p em at√© 240 qps. Ele cai para 30 fps se voc√™ deseja um processamento AI completo ao mesmo tempo. Para fotos, ele captura at√© 4056 x 3040 imagens.

A Sony diz que come√ßou a enviar amostras do chip vazio no m√™s passado e espera enviar o produto embalado a partir de junho. √Č prov√°vel que tamb√©m chame a aten√ß√£o da equipe de IA da Sony, a divis√£o rec√©m-formada da empresa que visa aplicar a tecnologia de sensores √† intelig√™ncia artificial, rob√≥tica e fotografia. Os primeiros produtos a realmente chegar ao mercado usando o IMX500 provavelmente chegar√£o no primeiro trimestre de 2021.

0 Shares