CAGED / DataEmpregos

O DataEmpregos torna mais simples explorar a movimentação mensal do emprego formal no Brasil. O CAGED prepara os dados subjacentes ao transformar os arquivos oficiais do Novo CAGED em métricas geográficas e ocupacionais que podem ser consultadas de forma eficiente.

O EventBridge Scheduler inicia um workflow Standard do Step Functions que verifica novos arquivos, baixa os arquivos necessários para um armazenamento S3 privado e então executa uma tarefa de processamento no Fargate. O Step Functions controla o sequenciamento, as tentativas e o tratamento de falhas em todo o workflow.

O processador valida grupos completos de arquivos mensais, agrega registros por geografia e família ocupacional da CBO e grava métricas pré-calculadas junto com metadados de disponibilidade no DynamoDB. Assim, o caminho de consulta lê um modelo de dados preparado em vez de processar arquivos-fonte durante uma requisição.

O CloudFront e o AWS WAF formam a borda pública. Os navegadores acessam o frontend do DataEmpregos, cuja camada de servidor valida as requisições e chama um API Gateway privado usando sua identidade AWS; a API invoca uma Lambda de consulta somente leitura que recupera as métricas preparadas no DynamoDB.

SNS, SQS e uma Lambda de notificações desacoplam as notificações do workflow da ingestão. O SQS repete falhas transitórias de entrega e isola mensagens não resolvidas em uma fila de mensagens mortas, enquanto logs estruturados no CloudWatch e o histórico de execuções do Step Functions fornecem visibilidade operacional.

O Terraform gerencia a infraestrutura de backend e frontend em repositórios separados. Cada repositório de aplicação possui seu pipeline de entrega: o GitHub Actions assume roles AWS de escopo restrito por OIDC para publicar artefatos ZIP de Lambda, promover aliases de Lambda ou construir e implantar a imagem de processamento do Fargate de forma independente.