docs(prefect3): disable schedules for 5 failing flows and document root causes

Author: Winzen

prefect3-flows-migrados.md

@@ -137,7 +137,7 @@ Um flow só é considerado **migrado** quando passa pelos três estágios abaixo
 | `br_me_caged__microdados_movimentacao` | ✅ 2026-05-22 | ⏳ | ⏳ | 🟡 Deployado | Tasks/utils/constants em `pipelines/crawler/me_caged/`; factory pattern p/ 3 tabelas. Loop sequencial sobre `yearmonths` (substitui `.map()` do P0); `trigger=all_finished` removido. Run dev triggered |
 | `br_me_caged__microdados_movimentacao_fora_prazo` | ✅ 2026-05-22 | ⏳ | ⏳ | 🟡 Deployado | Run dev triggered |
 | `br_me_caged__microdados_movimentacao_excluida` | ✅ 2026-05-22 | ⏳ | ⏳ | 🟡 Deployado | Run dev triggered |
-| `br_bcb_taxa_selic` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Flow já existia em P3, refatorado p/ template canônico (`upload_to_gcs`, `run_dbt`, `force_run`, `notify_discord_on_failure`). User-Agent Chrome adicionado p/ fix HTTP 406; `dbt_alias=True`. Run dev pendente |
+| `br_bcb_taxa_selic` | ✅ 2026-05-25 | ❌ | ⏳ | ⚠️ Schedule desativado | **NÃO ATIVAR** até fix do HTTP 406 (BCB API rejeita User-Agent padrão). 6 falhas consecutivas em prod (03-08/06). Fix: adicionar header `User-Agent` na task `get_selic_data`. |
 | `br_fgv_igp__igp_di_mes` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Factory `_run_fgv_igp` em `pipelines/crawler/fgv_igp/flows.py` p/ 7 tabelas. Crons originais P0 (commented out): mensais dia 8, anuais dia 8/janeiro. Run dev pendente |
 | `br_fgv_igp__igp_di_ano` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Mesmo crawler |
 | `br_fgv_igp__igp_m_mes` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Mesmo crawler |
@@ -156,7 +156,7 @@ Um flow só é considerado **migrado** quando passa pelos três estágios abaixo
 | `br_bd_indicadores__equipes` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Mesmo helper sheet, `usecols=6` |
 | `br_bd_indicadores__pessoas` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Mesmo helper sheet, `usecols=9` |
 | `br_bd_siga_o_dinheiro` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Template P3: get_table_ids() dinâmico + dbt + download_to_gcs por tabela. Sem schedule |
-| `br_cnj_improbidade_administrativa__condenacao` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Tasks/utils/constants extraídos p/ `pipelines/crawler/cnj_improbidade_administrativa/`. Cron `0 7 * * 1`. Run dev pendente |
+| `br_cnj_improbidade_administrativa__condenacao` | ✅ 2026-05-25 | ❌ | ⏳ | ⚠️ Schedule desativado | **NÃO ATIVAR** até investigar falhas. ConnectionError intermitente em prod (03-08/06). |
 | `br_cvm_administradores_carteira__responsavel` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | Tasks compartilhadas em `pipelines/crawler/cvm_administradores_carteira/`; factory pattern p/ 3 tabelas. Fonte (ZIP CVM) sem `last_modified` — `check_if_data_is_outdated` omitido, `force_run` no-op (4b ≡ 4a). Run end-to-end `Completed` |
 | `br_cvm_administradores_carteira__pessoa_fisica` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | Upload p/ staging OK; falha no `dbt run` não relacionada à migração. `update_django_metadata` ativo (data_registro). `force_run` no-op (4b ≡ 4a) |
 | `br_cvm_administradores_carteira__pessoa_juridica` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | Upload p/ staging OK; falha no `dbt run` não relacionada à migração. `force_run` no-op (4b ≡ 4a) |
@@ -179,7 +179,7 @@ Um flow só é considerado **migrado** quando passa pelos três estágios abaixo
 | `br_me_cnpj__simples` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | `coverage_type=all_free`, `historical_database=False`. Run `Completed` |
 | `br_me_rais__microdados_estabelecimentos` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Factory `_run_rais` em `pipelines/crawler/me_rais/flows.py`. `resolve_vinculos=False`. Sem schedule (P0 também não tinha). Run dev pendente |
 | `br_me_rais__microdados_vinculos` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Mesmo crawler, `resolve_vinculos=True` (resolve table_id dinamicamente por ano) |
-| `br_mp_pep__cargos_funcoes` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Tasks extraídas p/ `pipelines/crawler/mp_pep/`. Selenium webdriver. Cron `0 14 * * 3`. Run dev pendente |
+| `br_mp_pep__cargos_funcoes` | ✅ 2026-05-25 | ❌ | ⏳ | ⚠️ Schedule desativado | **NÃO ATIVAR** até fix do Selenium Timeout. Webdriver está expirando em prod (03-08/06). Fix: aumentar timeout ou adicionar retry no webdriver. |
 | `br_mp_pep_cargos_funcoes` (sem flows.py) | — | — | — | ❌ Não migrado | Pasta `pipelines/datasets/br_mp_pep_cargos_funcoes/` existe mas sem `flows.py`; possivelmente duplicada por `br_mp_pep` — confirmar |
 | `br_ms_cnes__profissional` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | Factory pattern em `pipelines/crawler/datasus/` (`_run_cnes` compartilhado p/ 13 tabelas). `ShellTask` → `subprocess.run`; decoradores → P3. Run end-to-end `Completed` |
 | `br_ms_cnes__estabelecimento` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | Upload p/ staging OK; falha no `dbt run` não relacionada à migração |
@@ -199,7 +199,7 @@ Um flow só é considerado **migrado** quando passa pelos três estágios abaixo
 | `br_ms_sih__servicos_profissionais` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | `_run_sihsus` em `pipelines/crawler/datasus/flows.py` (mesmo `_run_dbf_to_parquet` do SIA, com `source_format=parquet`). Run `Completed` |
 | `br_ms_sih__aihs_reduzidas` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | Upload p/ staging OK; falha no `dbt run` não relacionada à migração |
 | `br_ms_sinan__microdados_dengue` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | `_run_sinan` em `pipelines/crawler/datasus/flows.py`. Sem schedule (mantido como no P0); `coverage_type=all_free`, `date_column_name={"date":"data_notificacao"}`. Upload p/ staging OK; 4 testes dbt falharam (não relacionados à migração) |
-| `br_poder360_pesquisas__microdados` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Tasks extraídas p/ `pipelines/crawler/poder360_pesquisas/`. Cron `42 3 * * *`. Run dev pendente |
+| `br_poder360_pesquisas__microdados` | ✅ 2026-05-25 | ❌ | ⏳ | ⚠️ Schedule desativado | **NÃO ATIVAR** até fix do crawler. Falha com `KeyError: 'BIG THEME'` e `ConnectionError` em prod (03-08/06). Dado ausente ou mudança na estrutura da fonte. |
 | `br_rf_cafir__imoveis_rurais` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | Tasks/utils/constants em `pipelines/crawler/rf_cafir/`. 4a Completed; 4b ainda running |
 | `br_rf_cno__microdados` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | `_run_rf` compartilhado em `pipelines/crawler/rf/flows.py`; factory pattern p/ 4 tabelas. `crawl` task migrada p/ decorator P3 (`retries`/`retry_delay_seconds`). Crons originais (todos `5 4 * * *` filtro `is_weekday`) staggerados para `5/15/25/35 4 * * 1-5`. Upload p/ staging OK (4a + 4b); falha no `dbt run` não relacionada à migração |
 | `br_rf_cno__vinculos` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | Mesmo crawler. Upload p/ staging OK (4a + 4b); falha no `dbt run` não relacionada à migração |
@@ -212,7 +212,7 @@ Um flow só é considerado **migrado** quando passa pelos três estágios abaixo
 | `br_rj_isp_estatisticas_seguranca__evolucao_policial_morto_servico_mensal` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | Mesmo crawler. Run `Completed` |
 | `br_rj_isp_estatisticas_seguranca__feminicidio_mensal_cisp` | ✅ 2026-05-25 | ✅ 2026-05-25 | ⏳ | 🟢 Dev OK | Mesmo crawler. Run `Completed` |
 | `br_sfb_sicar__area_imovel` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Tasks extraídas p/ `pipelines/crawler/sfb_sicar/`. `.map()` do P0 convertido p/ loop sequencial sobre 27 UFs. Cron `15 21 15 * *`. Run dev pendente |
-| `br_stf_corte_aberta__decisoes` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Tasks/utils/constants extraídos p/ `pipelines/crawler/stf_corte_aberta/`. `check_if_data_is_outdated` + `force_run`. Cron `0 12 * * *` |
+| `br_stf_corte_aberta__decisoes` | ✅ 2026-05-25 | ❌ | ⏳ | ⚠️ Schedule desativado | **NÃO ATIVAR** até fix do Selenium Timeout. Webdriver expirando em prod (03-08/06), 6 falhas consecutivas. Fix: aumentar timeout ou adicionar retry no webdriver. |
 | `br_tse_eleicoes__candidatos` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Factory `_run_tse_eleicoes` em `pipelines/crawler/tse_eleicoes/flows.py` p/ 4 tabelas. Sem schedule (P0 também sem). Run dev pendente |
 | `br_tse_eleicoes__bens_candidato` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Mesmo crawler TSE |
 | `br_tse_eleicoes__despesas_candidato` | ✅ 2026-05-25 | ⏳ | ⏳ | 🟡 Deployado | Mesmo crawler TSE |