Saltar al contenido

News Scraper MX + INE Importer

Ingeniería de datos sobre fuentes públicas: scraping de prensa y un ETL geoespacial de datos abiertos del INE.

Año
2025
Rol
Desarrollo individual (ingeniería de datos)
Stack
Python · Scrapy · PostgreSQL · PostGIS · SQLAlchemy · GeoPandas

El productoPlataforma de ingeniería de datos sobre fuentes públicas mexicanas, con dos componentes. News Scraper MX: un scraper basado en Scrapy con 9 spiders (Google News RSS, varios medios nacionales, uno con Selenium para sitios con Cloudflare/JS y uno genérico configurable), con modelo de artículo estructurado y pipelines de deduplicación y persistencia. INE Importer: un ETL geoespacial que ingiere datos agregados y abiertos del INE y los persiste en PostgreSQL + PostGIS, con geografía temporalmente versionada, ingesta idempotente e incremental (ETag/Last-Modified, hashing en streaming, reintentos) y CLI con Typer. Diseñado con la privacidad como principio central: un PII guard rechaza cualquier archivo con apariencia de datos personales; solo procesa datos agregados y públicos.