News Scraper MX + INE Importer

Acerca del proyecto

Plataforma de ingeniería de datos sobre fuentes públicas mexicanas, con dos componentes. News Scraper MX: un scraper basado en Scrapy con 9 spiders (Google News RSS, varios medios nacionales, uno con Selenium para sitios con Cloudflare/JS y uno genérico configurable), con modelo de artículo estructurado y pipelines de deduplicación y persistencia. INE Importer: un ETL geoespacial que ingiere datos agregados y abiertos del INE y los persiste en PostgreSQL + PostGIS, con geografía temporalmente versionada, ingesta idempotente e incremental (ETag/Last-Modified, hashing en streaming, reintentos) y CLI con Typer. Diseñado con la privacidad como principio central: un PII guard rechaza cualquier archivo con apariencia de datos personales; solo procesa datos agregados y públicos.