← Volver

Criminal Stats Dashboard for Mexico (Legacy)

Replanteamiento de un flujo de Big Data. Un campo de entrenamiento técnico.

GCPAirflowSparkBigQueryDBT

Problema

Necesitaba dominar el stack moderno de extremo a extremo. Sin atajos.

Solución

Arquitectura automatizada usando Spark, BigQuery y DBT. Donde el modelado semántico se vuelve fundamental.

Propósito

Entender la gobernanza y el flujo de los datos a gran escala.

Arquitectura

  • 01Orquestación: Airflow
  • 02Procesamiento: Spark / Scala
  • 03Modelado: DBT (Data Build Tool)