Engenharia de IA
Exemplos de visão computacional para empresas: o que ela faz e como é construída
O que uma câmera poderia avaliar? Visão computacional é um software que faz, a partir de uma imagem ou vídeo, uma avaliação que alguém fazia a olho: quantos itens há, este está danificado, o que diz esta etiqueta, de que cor é este resultado. Os exemplos práticos se dividem em poucas tarefas, e cada uma tem um conjunto habitual de ferramentas. Este artigo passa por elas uma a uma, para que você veja qual se parece com o seu problema.
Ele é para o responsável pela operação que quer saber o que a visão computacional poderia fazer pela empresa. Cobre encontrar e contar, inspeção visual, leitura de texto, medição, rostos e as regras do Reino Unido sobre eles, execução no próprio local e o trabalho com números em vez de imagens que muitas vezes anda junto. Citamos as ferramentas que costumamos usar e dizemos quando comprar um produto é melhor do que desenvolver. Se quiser uma opinião sobre o seu caso, esse é o nosso serviço de visão computacional, com estudo de viabilidade a partir de R$ 21.000.
Principais conclusões
- A maior parte do trabalho de visão computacional nas empresas é uma de cinco tarefas: encontrar e contar, verificar defeitos, ler texto, medir ou reconhecer rostos.
- Em geral, um modelo pode ser adaptado de outro já treinado com imagens genéricas usando algumas centenas de exemplos seus, então raramente você precisa de bases de dados enormes.
- Rostos são diferentes: dados biométricos usados para identificar alguém são dados de categoria especial segundo o UK GDPR (a lei britânica de proteção de dados), então consentimento, uma alternativa e uma avaliação de impacto vêm primeiro.
- Os modelos podem rodar em um celular, uma câmera ou um pequeno dispositivo no local quando as imagens não podem sair da empresa.
- Compre um produto pronto quando a tarefa for genérica. Desenvolva quando as imagens, os produtos ou as regras forem só seus.
O que a visão computacional faz de fato por uma empresa?
Ela substitui ou apoia uma avaliação que uma pessoa faz olhando, em um volume ou com uma consistência que uma pessoa não consegue manter. Esse é o padrão em todos os exemplos abaixo.
Os três projetos nossos sobre os quais podemos falar publicamente mostram isso. O primeiro é a plataforma de imagens de veículos: aplicativos que orientam cada foto, um modelo de visão computacional sob medida que localiza o veículo e suas características, troca automática de fundo e controle de qualidade, e fotos giratórias em 360 graus, em uma infraestrutura que processa milhões de imagens por ano a um custo por imagem que mantém o produto comercialmente viável. O segundo é um aplicativo de leitura de testes médicos: um algoritmo em duas etapas para detecção de forma e medição de cor, um aplicativo para o paciente e um painel para o profissional de saúde, depois adaptado para pesquisa clínica acadêmica. O terceiro trabalha com números: a plataforma de previsão de mercado, em que modelos supervisionados foram treinados com o histórico rotulado de um analista e a precisão foi validada indicador por indicador.
Os detalhes dos clientes nesses projetos são confidenciais, então descrevemos o trabalho e não os clientes. As ferramentas citadas nas seções abaixo são as que costumamos usar, não uma lista do que foi usado nesses projetos.
| Tarefa | Ferramentas que costumamos usar | Exemplo |
|---|---|---|
| Encontrar e contar | YOLO | Itens em uma prateleira |
| Verificar defeitos | PyTorch, OpenCV | Riscos em peças |
| Ler texto | Tesseract, PaddleOCR | Etiquetas, documentos |
| Medir | OpenCV, modelo treinado | Cor, forma |
| Reconhecer rostos | InsightFace | Controle de acesso, com consentimento |
Como os modelos de visão computacional encontram e contam objetos?
Um modelo de detecção de objetos desenha uma caixa em volta de cada coisa que reconhece, e contar passa a ser aritmética. Os modelos YOLO são o ponto de partida habitual porque são rápidos o bastante para rodar em vídeo ao vivo.
A Ultralytics, que mantém a família YOLO mais conhecida, descreve a detecção de objetos como identificar e localizar objetos em uma imagem. Vale conhecer um ponto de licenciamento antes de construir sobre eles: a Ultralytics diz que seus modelos YOLO11 são oferecidos sob as licenças AGPL-3.0 e Enterprise (Ultralytics). Para um produto comercial, alguém precisa ler a licença e decidir qual se aplica.
Tarefas típicas são contar estoque em prateleiras, itens em uma esteira, veículos em um pátio ou pessoas passando por uma porta. Câmeras fixas e iluminação estável tornam isso muito mais fácil do que fotos tiradas pelo público, uma diferença que a nossa FAQ na página do serviço de visão computacional explica em termos de precisão.
Como a inspeção visual com IA encontra defeitos?
Você treina um modelo com seus próprios exemplos bons e ruins, e ele aprende como é o aceitável para o seu produto. Esse é o coração da visão computacional na indústria, e o modelo só é tão bom quanto os exemplos.
Treinamos esses modelos em PyTorch e usamos o OpenCV para o trabalho em volta do modelo: estabilizar a iluminação, endireitar uma foto, recortar a parte que importa e extrair quadros de vídeo. O OpenCV é uma biblioteca open source sob a licença Apache-2.0 (OpenCV no GitHub). O PyTorch é mantido pela PyTorch Foundation, da Linux Foundation. Se você já viu a comparação “PyTorch vs TensorFlow”, a resposta curta, do ponto de vista do desenvolvedor, é que os dois conseguem treinar um modelo, e escolhemos o PyTorch para treinamento porque nosso trabalho de visão é escrito em Python e ele se presta bem a aprender com as suas próprias imagens. Não encontramos uma fonte primária para um número de participação de mercado, então não citamos nenhum.
Dois limites, com honestidade. Um modelo detecta defeitos diferentes, não simplesmente mais defeitos, e defeitos raros que ele nunca viu continuam difíceis, e é por isso que as pessoas continuam no processo. Segundo, mudar um produto ou uma tolerância significa retreinar com novos exemplos, então planeje isso desde o início. Nosso serviço de controle de qualidade com IA é construído em torno desse retreinamento.
Uma câmera consegue ler texto e medir a partir de uma foto?
Sim para as duas coisas, com ressalvas sobre iluminação e ângulo. Ler texto usa OCR, e medir usa processamento de imagem mais um modelo treinado que encontra o que deve ser medido.
Para texto, Tesseract e PaddleOCR são leitores open source sob a licença Apache 2.0, e os dois dizem suportar mais de 100 idiomas (Tesseract, PaddleOCR). Eles servem para textos em que o layout varia e não dá para contar com um modelo fixo. O que acontece depois da leitura, transformar texto em campos de nota fiscal, é outra tarefa, que tratamos em OCR com IA: como funciona a extração de documentos.
Para medição, nosso aplicativo de leitura de testes médicos é o exemplo público mais claro. Ler um teste que muda de cor a partir de uma foto de celular exigiu primeiro descobrir onde o teste está em uma foto sem controle de condições e, só então, medir a cor dentro dessa região já conhecida. Dividir o problema em dois é um padrão útil sempre que câmeras, ambientes e iluminação variam. Medir forma, tamanho ou cor a partir de uma foto raramente é um único modelo; em geral, é uma etapa de localização seguida de uma etapa de medição.
E os rostos, e o UK GDPR?
Associar um rosto a uma pessoa conhecida é possível, mas é a única tarefa de visão em que a lei molda o design. O ICO diz que dados biométricos usados para identificar uma pessoa de forma única são dados de categoria especial, e que processar fotografias digitais de pessoas não conta automaticamente como processar dados biométricos (ICO).
Quando você passa a identificar pessoas pelo rosto, as orientações do ICO dizem que é preciso definir uma base legal e uma condição separada para o tratamento, e que em muitos casos o consentimento explícito tende a ser a condição mais adequada (ICO). As orientações do ICO sobre reconhecimento facial dizem que uma avaliação de impacto sobre a proteção de dados deve ser feita, atualizada ou revisada antes de cada implantação, e sugerem oferecer às pessoas outra forma de usar o serviço caso não queiram participar do reconhecimento facial. Isto é informação geral, não aconselhamento jurídico, e você deve buscar sua própria orientação para qualquer plano de reconhecimento facial.
Quanto às ferramentas, o InsightFace é o kit que costumamos usar. Verifique a licença: o README diz que os dados de treinamento e os modelos treinados com eles estão disponíveis apenas para fins de pesquisa não comercial (InsightFace). Um sistema comercial precisa de uma resposta sobre licenciamento antes de uma resposta sobre arquitetura.
A visão computacional pode rodar no local quando as imagens não podem sair?
Sim. Um modelo treinado pode rodar em um celular, uma câmera ou um pequeno computador no local, de modo que as imagens nunca saem da empresa. Isso serve para trabalhos sujeitos a regras de proteção de dados e para lugares com conexão ruim.
O ONNX Runtime é a ferramenta que usamos para isso. O próprio site o descreve como multiplataforma, com suporte a cloud, edge, web e mobile, rodando em Linux, Windows, Mac, iOS, Android e em navegadores (ONNX Runtime). A contrapartida é o tamanho: rodar localmente limita o tamanho do modelo, e isso é decidido quando o escopo do trabalho é definido.
E se o problema for de números, e não de imagens?
Muitas vezes é. Muitos problemas de inspeção são mais bem resolvidos por sensores e tabelas do que por câmeras, e os dois funcionam bem juntos.
Nosso trabalho de controle de qualidade com IA cobre os dois. Quando a verificação é sobre medições, o scikit-learn aprende o padrão normal e sinaliza leituras fora dele. A documentação separa a detecção de outliers, em que os dados de treinamento podem conter pontos incomuns, da detecção de novidades, em que você pergunta se uma nova observação é incomum (scikit-learn). Medições contínuas precisam de um lugar para ficar, e o TimescaleDB, descrito como uma extensão do PostgreSQL para análises em tempo real de séries temporais e dados de eventos, mantém essas medições consultáveis ao longo de meses (TimescaleDB). O Grafana então mostra o estado e o histórico, e seus alertas suportam e-mail, Slack e Microsoft Teams (Grafana).
Para previsões e pontuações com tabelas, o XGBoost costuma ser a primeira coisa a testar, e o README o descreve como uma biblioteca de gradient boosting projetada para ser eficiente, flexível e portátil (XGBoost). O Hugging Face reúne modelos pré-treinados que você pode adaptar com menos dados próprios, e o MLflow registra com o que cada versão do modelo foi treinada e qual foi o desempenho, para que o que está em produção possa ser rastreado (MLflow). Nossa página de machine learning cobre esse lado, e nosso artigo sobre modern data stack trata de onde os dados devem ficar.
Treinamos e hospedamos na AWS, onde o hardware gráfico é pago apenas enquanto está em uso.
Quantos dados, e quanto custa?
Você precisa de menos exemplos do que a maioria imagina, e os custos dependem de quanto material rotulado já existe. Nossos preços publicados no momento em que este texto foi escrito estão abaixo.
| Serviço | Etapa inicial | Desenvolvimento |
|---|---|---|
| Visão computacional | A partir de R$ 21.000 | A partir de R$ 100.000 |
| Controle de qualidade com IA | A partir de R$ 14.000 | A partir de R$ 35.000 |
| Machine learning | A partir de R$ 17.000 | A partir de R$ 100.000 |
A etapa inicial é um estudo de viabilidade ou uma análise de dados com preço fechado, que testa um modelo em uma amostra do seu material e informa por escrito a precisão que você pode esperar. O desenvolvimento é uma tarefa ou verificação no ar. Plataformas com vários modelos começam em R$ 280.000 para visão computacional e machine learning, e em R$ 69.000 para um programa de controle de qualidade com IA.
Sobre dados, nossa visão é que, em geral, um modelo pode partir de outro treinado com imagens genéricas e ser adaptado com algumas centenas de exemplos seus, com mais exemplos necessários quando um defeito é raro. Para previsões comuns de negócio com tabelas, alguns milhares de registros passados com o resultado anotado costumam bastar para chegar a algo útil. Uma única tarefa costuma levar de oito a doze semanas, do escopo acordado ao uso em produção.
Comprar um produto ou desenvolver um?
Compre quando a tarefa for genérica e um produto já fizer isso. Desenvolva quando as imagens, os produtos ou as regras forem só seus.
Um produto pronto é a resposta certa para tarefas comuns, como ler documentos padronizados, contar pessoas que passam por uma porta ou ler códigos de barras. Ele começa a funcionar mais cedo, e outra pessoa cuida da manutenção. Desenvolver faz sentido quando o que é aceitável é específico da sua empresa, como o acabamento do seu produto, o seu padrão de fotografia ou a leitura de um gráfico por um analista, ou quando as imagens precisam ficar no local.
O próximo passo mais barato é um estudo de viabilidade com uma amostra. Reúna de 50 a 100 imagens representativas, incluindo as difíceis, e agende uma conversa. Diremos se as imagens são suficientes, se um produto resolveria e o que um estudo de viabilidade testaria.
Perguntas frequentes
Quais são alguns exemplos de visão computacional nas empresas?
Encontrar e contar itens em uma foto, verificar defeitos em produtos, ler texto em fotografias, medir forma ou cor a partir de uma imagem e reconhecer rostos com consentimento. Nossos exemplos públicos incluem uma plataforma de imagens de veículos que localiza o carro e verifica cada foto, e um aplicativo de leitura de testes médicos que detecta a forma do teste e mede sua cor a partir de uma foto tirada com o celular.
Como a visão computacional é usada na indústria?
Principalmente para inspeção visual. Uma câmera em posição fixa fotografa cada item, e um modelo treinado com seus próprios exemplos bons e ruins sinaliza os que parecem errados. Um software como o OpenCV prepara a imagem, e dados de sensores, como temperatura ou vibração, podem ser analisados junto para encontrar padrões que indiquem uma falha antes que ela apareça.
De quantos dados um modelo de visão computacional precisa?
Menos do que se imagina. Em geral, um modelo pode partir de outro já treinado com imagens genéricas e ser adaptado com algumas centenas de exemplos seus, não dezenas de milhares. Quando um defeito é raro, é preciso coletar mais. Um estudo de viabilidade curto com uma amostra das suas imagens responde a isso antes de você se comprometer com o desenvolvimento.
Reconhecimento facial é legal no Reino Unido?
Pode ser, com condições. O ICO (a autoridade britânica de proteção de dados) diz que dados biométricos usados para identificar uma pessoa de forma única são dados de categoria especial segundo o UK GDPR, então você precisa de uma base legal mais uma condição separada, e o consentimento explícito tende a ser a condição mais adequada em muitos casos. Uma avaliação de impacto sobre a proteção de dados vem primeiro. Isto é informação geral, não aconselhamento jurídico.
Quanto custa um projeto de visão computacional?
Nossos preços publicados: estudo de viabilidade a partir de R$ 21.000, uma única tarefa de visão desenvolvida e no ar a partir de R$ 100.000, e uma plataforma com vários modelos a partir de R$ 280.000. O que mexe no valor é a quantidade de material rotulado disponível, a precisão exigida e onde o modelo roda. Para verificações com números em vez de imagens, nosso trabalho de controle de qualidade com IA começa em R$ 35.000 por verificação.
Uma câmera poderia fazer essa avaliação?
Agende uma consultoria gratuita de 30 minutos e diremos se as suas imagens são suficientes ou se um produto pronto resolve.