Caso de estudio: navegar los microdatos del mercado laboral colombiano
Cómo convertí los microdatos de la GEIH (DANE) en un dashboard interactivo con Polars, Streamlit y pruebas automatizadas.
Contexto organizacional
La GEIH es la encuesta de hogares con la que Colombia mide su mercado laboral. El DANE publica los microdatos, pero quedan lejos de quien decide: analizarlos exige descargar, decodificar y procesar archivos que no caben cómodos en una hoja de cálculo. Este es un proyecto público de portafolio — no un encargo comercial — y todo el código está en el repositorio.
Proceso de implementación
- 1Carga y transformación de los microdatos con Polars, aprovechando su evaluación perezosa para procesar archivos grandes sin agotar la memoria.
- 2Definición de los indicadores del mercado laboral a partir de las variables de la encuesta.
- 3Construcción de la app en Streamlit, con filtros para explorar los indicadores de forma interactiva.
- 4Cobertura de la lógica de transformación con 25 pruebas en pytest, para poder cambiar el ETL sin romper los indicadores.
Lecciones aprendidas
- El ETL es el producto: si los indicadores no son confiables, el dashboard solo acelera conclusiones equivocadas.
- Las pruebas sobre la lógica de transformación pagan rápido — son la diferencia entre un script y una herramienta mantenible.
- Polars sube el techo de lo que un solo computador puede procesar; no hizo falta infraestructura adicional.
- 01¿Cómo servir años de microdatos en una app que carga al instante?
- 02¿Cómo explorar los microdatos del mercado laboral sin perderse?Estás aquí
- 03¿Cómo pasar del dato del ICFES a un informe institucional trazable?
- 04¿Qué patrones esconden 5,3 millones de micronegocios?
- 05¿Qué pesa de verdad en la pobreza multidimensional?
También te puede interesar
Observatorio GEIH: cómo servir 4 años de microdatos del DANE en una app que carga al instante
La historia técnica del Observatorio GEIH (2022–2025): pre-agregación offline respetando la metodología DANE, app Shiny modular de 7 dimensiones, auditoría automatizada contra el microdato y publicación en Springer (CCIS, R Day 2025).
R básico: aprende R desde cero, sin haber programado nunca
Guía de R para principiantes absolutos, en 12 pasos: qué es R y por qué aprenderlo, instalación verificada, tu primer script, objetos, tipos de datos, vectores, factores, data frames, el tidyverse, importación de datos y tu primer gráfico con ggplot2. Con errores comunes y recursos oficiales gratuitos para seguir.
Vectores: el modelo mental que sostiene todo R
El vector es la estructura central de R: cada columna, cada filtro y cada función de resumen es una operación sobre vectores. Este artículo construye el modelo mental completo: creación, las 5 formas de indexar, vectorización, el peligro del reciclaje y los modismos que usan los analistas.