[Azure] - Sequencia de posts para aprofundar os estudos da certificação Azure AI-900 Fundamentals Exam (3/5)

Leia e pratique essas questões antes de seu exame em português

Recentemente realizei a prova AI-900 em português, por isso, resolvi trazer algumas questões e termos que mudaram para que você obtenha sucesso com essa certificação.

Neste post vamos falar sobre a terceira parte da prova.

Descrever recursos de workloads de pesquisa visual computacional no Azure (15–20%)

Vamos abordar os temas abaixo

• Identificar tipos comuns de soluções de pesquisa visual computacional
• Identificar ferramentas e serviços do Azure para tarefas de pesquisa visual computacional

Particularmente um dos tópicos que mais me atrai em relação a visão pesquisa visual computacional, tenho alguns exemplos bem legais que surgirão em breve em forma de artigo para tentar trazer um pouco do que venho estudando há pouco mais de 10 anos, e com as facilidades que a Microsoft encapsulou no azure por meio de Apis simples e práticas que estaremos falando uma a uma em posts futuros.

1. O que o serviço cognitivo de pesquisa visual computacional pode fazer?

• Interprete uma imagem e sugira uma legenda apropriada.
• Sugere tags relevantes que podem ser usadas para indexar uma imagem.
• Categorize uma imagem.
• Identifique objetos em uma imagem.
• Detecte rostos e pessoas em uma imagem.
• Reconheça celebridades e pontos de referência em uma imagem.
• Leia o texto em uma imagem.

2. Ao usar a pesquisa visual computacional, qual é a diferença entre pesquisa visual computacional e Serviços Cognitivos?

• Pesquisa Visual Computacional: É uma Recurso específico para o serviço de pesquisa visual computacional. Use este tipo de recurso se você não pretende usar nenhum outro serviço cognitivo, ou se deseja rastrear a utilização e os custos de seu recurso de pesquisa visual computacional separadamente.
• Serviços cognitivos: Inclui pesquisa visual computacional junto com muitos outros recursos: Text Analytics, Translator Text e outros. Use este tipo de recurso se você planeja usar vários serviços cognitivos e deseja simplificar a administração e o desenvolvimento.

3. Se o cliente deseja usar os serviços de pesquisa visual computacional do que ele precisa?

• Uma chave usada para autenticar aplicativos clientes.
• Um endpoint (ponto de extremidade) que fornece o endereço HTTP no qual seu recurso pode ser acessado.

4. A pesquisa visual computacional pode descrever as imagens? Sim

5. A pesquisa visual computacional detecta os objetos na imagem. Isso é verdade? Sim

A capacidade de detecção de objetos é semelhante à marcação, no sentido de que o serviço pode identificar objetos comuns. Mas em vez de marcar ou fornecer tags apenas para os objetos reconhecidos, esse serviço também pode retornar o que é conhecido como coordenadas em um objecto rectangle contendo (x, y, w, h) para delimitarmos os objetos através de uma caixa delimitadora.

{ “rectangle”:{ “x”:523, “y”:377, “w”:185, “h”:46 }, “object”:”computer keyboard”, “confidence”:0.51 }

6. O pesquisa visual computacional pode detectar marcas na imagem ?Sim

O recurso fornece a capacidade de identificar marcas comerciais. O serviço possui um banco de dados existente de milhares de logotipos reconhecidos globalmente de marcas comerciais de produtos.

7. Com a pesquisa visual computacional podemos categorizar as pessoas na imagem ? Sim

8. Ao categorizar uma imagem, o serviço pesquisa visual computacional oferece suporte a dois modelos de domínio especializados. Quais são ?

Celebridades: O serviço inclui um modelo que foi treinado para identificar milhares de celebridades conhecidas do mundo dos esportes, entretenimento e negócios.

Locais Famosos: O serviço pode identificar Locais famosos, como o Taj Mahal , Estátua da Liberdade, Palácio de Versailles entre outros locais conhecidos pela humanidade.

9. O serviço pesquisa visual computacional pode usar recursos de ________ para detectar texto impresso e oumanuscrito em imagens.

Reconhecimento Óptico de Caracteres (OCR)

10. Se você deseja detectar imagens que contenham conteúdo adulto ou que representem cenas violentas e sangrentas. O serviço pesquisa visual computacional pode ajudar neste cenário? Sim

Conteúdo Moderado : Detecção de imagens que contêm conteúdo adulto ou retratam cenas violentas e sangrentas.

11. Você deseja usar o serviço de pesquisa visual computacional para analisar imagens. Você também deseja usar o serviço Text Analytics para analisar texto. Você deseja que os desenvolvedores exijam apenas uma chave e um endpoint http(ponto de extremidade) para acessar todos os seus serviços. Que tipo de recurso você deve criar em sua assinatura do Azure?

Serviços Cognitivos

12. Você deseja usar o serviço de pesquisa visual computacional para identificar a localização de itens individuais em uma imagem. Qual dos seguintes recursos você deve recuperar?

Objetos

13. Você deseja usar o serviço de pesquisa visual computacional para analisar imagens de locais e identificar edifícios conhecidos? O que você deveria fazer?

Recupere as categorias da imagem, especificando o domínio dos locais

14. _______ é uma técnica de Machine Learning no qual o objeto que está sendo classificado é uma imagem, pode ser uma fotografia.

Classificação de imagem

15. Quais são os usos da classificação de imagens?

• Identificação do produto: realização de pesquisas visuais de produtos específicos em pesquisas online ou mesmo na loja usando um dispositivo móvel.
• Investigação de desastres : Avaliando a infraestrutura principal para esforços de preparação de grandes desastres. Por exemplo, imagens de vigilância aérea podem mostrar pontes e classificá-las. Qualquer coisa classificada como uma ponte poderia então ser marcada para preparação e investigação de emergência.
• Diagnóstico médico: A avaliação de imagens de dispositivos de raio-X ou ressonância magnética pode classificar rapidamente problemas específicos encontrados como tumores cancerígenos ou muitas outras condições médicas relacionadas ao diagnóstico por imagem médica.

16. Quais são os recursos disponíveis para Visão Personalizada no Azure?

• Visão Personalizada: É um recurso de treinamento ou predição.

17. O processo de treinamento do modelo é um processo iterativo no qual o serviço Visão Personalizada treina repetidamente o modelo usando alguns dos dados, mas retém alguns para avaliar o modelo. Quais são as métricas de avaliação?

Precisão: qual porcentagem das previsões de classe feitas pelo modelo estavam corretas? Por exemplo, se o modelo previu que 10 imagens são laranjas, das quais oito eram realmente laranjas, então a precisão é 0,8 (80%). Lembre-se: que porcentagem de previsões de classe o modelo identificou corretamente? Por exemplo, se houver 10 imagens de maçãs e o modelo encontrou 7 delas, o recall é 0,7 (70%). Precisão média (AP): Uma métrica geral que leva em consideração a precisão e o recall).

18. Depois de publicar o modelo em seu recurso de previsão. Para usar seu modelo, quais informações os desenvolvedores irão precisar ?

• ID do projeto: o ID exclusivo do projeto de Visão Personalizada que você criou para treinar o modelo.
• Nome do modelo: o nome que você atribuiu ao modelo durante a publicação.
• Endpoint (ponto de extremidade) de predição: Endereços HTTP do recurso de predição para o qual foi publicado o modelo (não o recurso de treinamento).
• Chave de predição: a chave de autenticação para o recurso de predição para o qual você publicou o modelo (não o recurso de treinamento).

19. Você planeja usar o serviço Visão Personalizada para treinar um modelo de classificação de imagem. Você deseja criar um recurso que só pode ser usado para treinamento de modelo, e não para previsão. Que tipo de recurso você deve criar em sua assinatura do Azure?

Visão Personalizada

20. Você está treinando um modelo de classificação de imagens que atinge métricas de avaliação insatisfatórias. Como você pode melhorar isso?

Basta adicionar mais imagens ao conjunto de treinamento.

21. Você publicou um modelo de classificação de imagem. Quais informações você deve fornecer aos desenvolvedores que desejam usá-las?

• ID do projeto
• Nome do modelo
• Chave (Secret Key)
• Endpoint

21. _______ é uma forma de pesquisa visual computacional baseada em Machine Learning em que um modelo é treinado para reconhecer tipos individuais de objeto em uma imagem e identificar sua localização na imagem.

Detecção de objetos

22. Qual é a diferença entre detecção de objetos e classificação de imagens?

• A classificação de imagens é uma forma de pesquisa visual computacional baseada em Machine Learning em que um modelo é treinado para categorizar imagens com base em padrões homogêneos que elas contêm.
• A detecção de objetos vai além disso, para classificar objetos individuais na imagem e retornar as coordenadas de um caixa delimitadora que indica a localização do objeto.

23. Quais são cenários para uso da detecção de objetos?

• Avaliação da segurança de um edifício procurando extintores de incêndio ou outro equipamento de emergência.
• Criação de software para carros autônomos ou veículos com recursos de assistência na faixa.
• Imagens médicas, como ressonância magnética ou raios-x, que podem detectar objetos conhecidos para diagnóstico médico.
• Softwares para criar barreiras de segurança do trabalho validando equipamentos de EPI ou até mesmo uso de mascaras.

24. Quais são as principais considerações que devemos ter ao colocar imagens para serem treinadas para detecção de objetos, garantindo que você tenha imagens suficientes dos objetos?

Sempre de preferência, de vários ângulos;

Certificando-se de que as caixas delimitadoras estão bem definidas em torno de cada objeto.

25. Você planeja usar um conjunto de imagens para treinar um modelo de detecção de objeto e, em seguida, publicar o modelo como um serviço preditivo. Você deseja usar um único recurso do Azure com a mesma chave e ponto de extremidade para treinamento e previsão. Que tipo de recurso do Azure você deve criar?

Serviços Cognitivos

26. _________ é uma área de inteligência artificial (IA) na qual usamos algoritmos para localizar e analisar rostos humanos em imagens ou conteúdo de vídeo.

Detecção e análise facial

27. Os pontos de referência faciais podem ser usados ​​como recursos para treinar um modelo de Machine Learning a partir do qual você pode fornecer informações sobre uma pessoa, como idade ou estado emocional ? Sim

28. Quais são os usos da detecção e análise facial?

• Segurança: O reconhecimento facial pode ser usado na construção de aplicativos de segurança e, cada vez mais, é usado em sistemas operacionais de smartphones para desbloquear dispositivos.
• Mídia social: O reconhecimento facial pode ser usado para marcar automaticamente amigos conhecidos em fotografias.
• Monitoramento inteligente: Por exemplo, um automóvel pode incluem um sistema que monitora o rosto do motorista para determinar se o motorista está olhando para a estrada, olhando para um dispositivo móvel ou mostra sinais de cansaço ou até mesmo está dormindo.
• Publicidade: Analisar rostos em uma imagem pode ajudar a direcionar anúncios a um público demográfico apropriado.
• Pessoas desaparecidas: Usando sistemas de câmeras públicas, o reconhecimento facial pode ser usado para identificar se uma pessoa desaparecida está no quadro da imagem.
• Validação de identidade: Útil em portos de quiosques de entrada onde uma pessoa possui uma permissão especial de entrada.
• Sistema de Segurança Residencial: Posso criar pessoas que estão autorizadas a passar em determinados locais, caso tenha uma pessoal não autorizada podemos disparar um pedido de socorro para a policia e ter fotos da pessoal que entrou onde não deveria.

29. Quais são os serviços cognitivos que você pode usar para detectar e analisar rostos no Microsoft Azure?

• Pesquisa visual computacional, que oferece detecção de rosto e algumas análises básicas de rosto, como determinar a idade. Indexador de vídeo, que você pode usar para detectar e identificar rostos em um vídeo.
• Face, que oferece algoritmos predefinidos que podem detectar, reconhecer e analisar rostos.

30. Quais informações os aplicativos do cliente precisam para usar o serviço facial?

• Uma chave usada para autenticar os aplicativos cliente.
• Um ponto de extremidade que fornece o endereço HTTP no qual seu recurso pode ser acessado.

31. Quais são algumas das dicas que podem ajudar a melhorar a precisão da detecção nas imagens ao usar o serviço facial?

• Formato de imagem: As imagens suportadas são JPEG, PNG, GIF e BMP *
• Tamanho do arquivo: 4 MB ou o rosto enquadrado na foto: Ex 36x36 ou 4096x4096, nesses casos rostos menores ou maiores não serão detectados
• Problemas Comuns: a detecção de rosto pode ser prejudicada por situações extremas ângulos faciais, oclusão (objetos bloqueando o rosto, como óculos de sol ou uma mão). Os melhores resultados são obtidos quando os rostos são totalmente frontais ou o mais próximo possível do ângulo frontal.

32. Qual é um aspecto que pode prejudicar a detecção facial?

Ângulos extremos

33. Você deseja usar a Detecção Facial para identificar indivíduos nomeados. O que você devemos fazer?

Use Detecção Facial para criar um grupo contendo várias imagens de cada indivíduo nomeado e treine um modelo baseado no grupo

34. Quais são os usos do OCR?

• Digitalizar formulários, como registros médicos ou documentos históricos
• Digitalizar cheques impressos ou manuscritos para depósitos bancários
• Digitalizar páginas impressas de livros, revistas e ou jornais

35. O fundamento básico do processamento de texto impresso é _______?

Reconhecimento óptico de caracteres (OCR)

36. _________ é um sistema AI não só lê os caracteres do texto, mas pode usar um modelo semântico para interpretar o texto se trata.

Compreensão de Leitura de máquina (MRC)

37. O que é OCR API?

A API OCR foi projetada para extração rápida de pequenas quantidades de texto em imagens. Ele opera de forma síncrona para fornecer resultados imediatos e pode reconhecer texto em vários idiomas.

38. Quais são as informações que a API de OCR retorna?

Regiões na imagem que contêm texto

Linhas de texto em cada região

Palavras em cada linha de texto Para cada um desses elementos, a API OCR também retorna as coordenadas da caixa delimitadora que definem um retângulo para indicar o local na imagem onde a região, linha ou palavra aparece.

39. O que é a API de leitura?

A API de leitura usa os modelos de reconhecimento mais recentes e é otimizada para imagens que possuem uma quantidade significativa de texto.

40. A API de leitura é a melhor opção para documentos digitalizados que contêm muito texto ? Sim

41. Quais são as informações que a API de leitura retorna?

Páginas : Uma para cada página de texto, incluindo informações sobre o tamanho e a orientação da página.

Linhas : As linhas de texto em uma página.

Palavras : As palavras em uma linha de texto. Cada linha e palavra inclui coordenadas de caixa delimitadora que indicam sua posição na página.

42. A API OCR funciona de forma síncrona e a API de leitura funciona de forma assíncrona. Isso está correto? Sim

43. Por que a API de leitura funciona de forma assíncrona?

Porque a API de leitura foi projetada para funcionar com documentos maiores

44. Você deseja extrair texto de imagens e, em seguida, usar o serviço Text Analytics para analisar o texto. Você deseja que os desenvolvedores exijam apenas uma chave e um ponto de extremidade para acessar todos os seus serviços. Que tipo de recurso você deve criar em sua assinatura do Azure?

Serviços Cognitivos

45. O _________ no Azure fornece recursos de processamento de formulário inteligente que você pode usar para automatizar o processamento de dados em documentos, como formulários, faturas e recibos.

Reconhecimento de Formulários

46. De quantas maneiras o Reconhecimento de Formulários oferece suporte ao processamento automatizado de documentos?

2 maneiras

Um modelo de recibo pré-treinado que é fornecido pronto para uso e é treinado para reconhecer e extrair dados de recibos de vendas.

Começando com apenas cinco exemplos de seus formulários, você pode treinar o modelo personalizado. Após o primeiro exercício de treinamento, você pode avaliar os resultados e considerar se precisa adicionar mais amostras e treinar novamente.

47. Quais são as diretrizes para obter os melhores resultados ao usar um modelo personalizado no Reconhecimento de Formulários?

• As imagens devem estar nos formatos JPEG, PNG, BMP, PDF ou TIFF
• O tamanho do arquivo deve ser inferior a 20 MB
• Tamanho da imagem entre 50 x 50 pixels e 10.000 x 10.000 pixels
• Para documentos PDF, não maiores que 17 polegadas x 17 polegadas

48. Você planeja usar o modelo de recibo pré-treinado do Reconhecimento de Formulários. Que tipo de recurso do Azure você deve criar?

Reconhecimento de Formulários

49. Você está usando o serviço Reconhecimento de Formulários para analisar recibos digitalizados em imagens no formato JPG. Qual é o tamanho máximo do arquivo JPG que você pode enviar para o modelo de recibo predefinido?

20 MB

Veja também Parte 5/5, Parte 4/5, Parte 2/5, Parte 1/5