Questão 46 — Amazon AIF-C01 Simulado | AWS Certified AI Practitioner Questões e Respostas
Uma empresa treinou um modelo de ML no Amazon SageMaker para prever o risco de crédito do cliente. O modelo mostra 90% de recall em dados de treinamento e 40% de recall em dados de teste não vistos. Que conclusão a empresa pode tirar desses resultados?
- A. O modelo está superajustado nos dados de treinamento.
- B. O modelo está subajustado nos dados de treinamento.
- C. O modelo tem dados de treinamento insuficientes.
- D. O modelo tem dados de teste insuficientes.
Resposta correta:
A
Explicação
Explicação: o modelo de ML mostra 90% de recall em dados de treinamento, mas apenas 40% de recall em dados de teste não vistos, indicando uma queda significativa no desempenho. Esta discrepância sugere que o modelo aprendeu demasiado bem os dados de treino, incluindo ruído e padrões específicos que não se generalizam para novos dados, o que é um sinal clássico de sobreajuste. Extrato exato dos documentos de IA da AWS: Do guia do desenvolvedor do Amazon SageMaker: "O overfitting ocorre quando um modelo tem um bom desempenho em dados de treinamento, mas um desempenho ruim em dados de teste não vistos, pois aprendeu padrões específicos para o conjunto de treinamento, incluindo ruído, que não são generalizáveis. Uma grande lacuna entre as métricas de desempenho de treinamento e teste, como recall, é um indicador comum de overfitting." (Fonte: Guia do desenvolvedor do Amazon SageMaker, avaliação de modelo e sobreajuste) Opção detalhada A: O modelo está sobreajustado nos dados de treinamento.Esta é a resposta correta. A queda significativa no recall de 90% (treinamento) para 40% (teste) indica que o modelo está sobreajustado, pois tem um bom desempenho em dados de treinamento, mas não consegue generalizar para dados não vistos. Opção B: O modelo está subajustado nos dados de treinamento. O subajuste ocorre quando o modelo tem um desempenho insatisfatório nos dados de treinamento e teste devido ao aprendizado insuficiente. Com 90% de recall nos dados de treinamento, o modelo não é inadequado. Opção C: O modelo tem dados de treinamento insuficientes. Dados de treinamento insuficientes podem levar a um desempenho insatisfatório, mas a alta recuperação dos dados de treinamento (90%) sugere que o modelo aprendeu bem os dados de treinamento, apontando para um ajuste excessivo em vez de falta de dados. Opção D: O modelo tem dados de teste insuficientes. Dados de teste insuficientes podem levar a métricas de teste não confiáveis, mas não explicam a grande lacuna de desempenho entre o treinamento e o teste, o que é mais indicativo de overfitting. Referência: Guia do desenvolvedor do Amazon SageMaker: avaliação e overfitting de modelos (https://docs.aws.amazon.com/sagemaker/latest/dg/model-evaluation.html) Caminho de aprendizagem do profissional de IA da AWS: módulo sobre desempenho e avaliação de modelos Documentação da AWS: noções básicas sobre overfitting e underfitting (https://aws.amazon.com/machine- learning/)