ℹ️ O que é MMAT?
O MMAT 2018 (Hong et al., 2018) é um instrumento padronizado para avaliar a qualidade metodológica de estudos em revisões sistemáticas que incluem desenhos qualitativos, quantitativos e de métodos mistos. Cada estudo é avaliado em 5 critérios (Q1–Q5), resultando em um score de 1 a 5. Os scores indicam: 1 = Muito Baixa, 2 = Baixa, 3 = Moderada, 4 = Alta, 5 = Muito Alta.
📊 Resumo da Qualidade
Distribuição por Qualidade
📋 Critérios MMAT
Critérios de Avaliação (por estudo):
- Q1: Clareza dos objetivos/questões de pesquisa
- Q2: Adequação do desenho metodológico aos objetivos
- Q3: Rigor no recrutamento/seleção de participantes (ou dados)
- Q4: Coleta de dados e análise apropriadas
- Q5: Atendimento ao rigor e limitações identificadas
Respostas: Y (Sim), N (Não), CT (Não está claro)
🏆 Estudos por Score
Score 5/5 — Muito Alta Qualidade (3 estudos)
| ID | Título | Autores | Ano | Limitações |
|---|---|---|---|---|
| Math2021_001 | Math proficiency prediction in computer-based international large-scale assessments using a multi-class machine learning model | Aleksandar Pejic et al. | 2021 | Robust PISA dataset; rigorous sampling |
| Identifying2017_006 | Identifying the Classification Performances of Educational Data Mining Methods: A Case Study for TIMSS | Serpil Kılıç Depren et al. | 2017 | Robust TIMSS dataset; international sampling |
| Computational2017_008 | Computational Models of Human Learning: Applications for Tutor Development, Behavior Prediction, and Theory Testing | Christopher J. MacLellan | 2017 | 7-domain validation; mixed-effects regression |
Score 4/5 — Alta Qualidade (3 estudos)
| ID | Título | Autores | Ano | Limitações |
|---|---|---|---|---|
| Authentic2024_013 | Authentic Assessment for Motivating Student Learning and Teaching Effectiveness in Rural, High-Need Secondary Schools | Eric K. Appiah-Odame | 2024 | Small sample (12 teachers); specific rural context |
| Performance2023_014 | Performance assessment: Improving metacognitive ability in mathematics learning | N. M. S. Mertasari et al. | 2023 | Cluster randomization; data completeness not explicit |
| Machine2022_010 | A Machine Learning and Explainable AI Approach for Predicting Secondary School Student Performance | Khan Md Hasib et al. | 2022 | Secondary dataset; no real classroom validation |
Score 3/5 — Moderada Qualidade (6 estudos)
Estudos com metodologia adequada, mas com limitações moderadas em representatividade, descrição metodológica ou validação.
| Ano | Autores (resumido) | Foco | Limitações principais |
|---|---|---|---|
| 2025 | Tjahyadi | EDM em escola privada indonésia | Single school; representatividade limitada |
| 2025 | Nyantah et al. | Geometria com aprendizagem cooperativa | Confunders não controlados |
| 2024 | Milićević et al. | ML como ferramenta de ensino | Single faculty; representatividade limitada |
| 2023 | Zhang | Currículo de IA em educação superior | Higher education only; dados não reportados |
| 2020 | Sokkhey et al. | EDM em Camboja | Context-specific; representatividade não discutida |
| 2019 | Uskov et al. | ML em educação STEM | Single university; aplicação em classroom não testada |
Score 1-2/5 — Baixa/Muito Baixa Qualidade (5 estudos)
Estudos com limitações significativas em descrição metodológica, validação ou representatividade. Ainda incluídos por contribuírem a lacunas específicas da revisão.
| Score | Ano | Autores | Limitações críticas |
|---|---|---|---|
| 2/5 | 2025 | Zhang et al. | Population unclear; confounders not controlled |
| 2/5 | 2024 | Jose et al. | Quali-quanti integration insufficient |
| 2/5 | 2022 | Kumar et al. | Dataset origin unclear; no cross-validation |
| 1/5 | 2021 | Salas-Rueda | Convenience sample (n=46); confounders not controlled |
| 1/5 | 2020 | Ünal | Insufficient methodology; metrics not detailed |
💡 Interpretação dos Resultados
✅ Pontos Fortes
- 6 estudos (35%) com scores altos (4-5) — metodologia robusta
- 3 estudos com datasets internacionais validados (PISA, TIMSS)
- Presença de estudos com delineamentos experimentais (randomizados)
- Abrangência de 3 continentes (América, Europa, Ásia)
⚠️ Limitações Identificadas
- 5 estudos (29%) com qualidade baixa — descrição metodológica deficitária
- Prevalência de estudos descritivos/observacionais (65%)
- Apenas 12% dos estudos com documentação de reprodutibilidade explícita
- Escassez de estudos com dados de contexto real de classroom (apenas 3)
📌 Recomendações para Protótipo
O score médio de 3.12 indica que a base de evidências é moderada a boa, mas com espaço para rigor. O protótipo foi informado pelos 6 estudos de alta qualidade (Pejic 2021, Depren 2017, MacLellan 2017, Appiah-Odame 2024, Mertasari 2023, Hasib 2022), garantindo que as escolhas técnicas (Random Forest primário, SVM secundário, XAI integrado) refletem evidências robustas.