Данные о недвижимости: конвейер

Пять порталов (Otodom, OLX, Gratka, Morizon, Nieruchomosci) каждый день присылают файлы по городам. Скрипт находит их в облачном хранилище, приводит пять разных форматов к одной таблице и загружает в ClickHouse. Продажа и аренда идут отдельными ветками.

Повторный запуск пропускает уже загруженное и догружает пропущенные дни, а один битый файл не останавливает остальные.

Отдельные задачи Airflow каждые пять минут исправляют адреса, пишут описания и разбирают фото через языковую модель, затем собирается витрина для сайта.

В демо схема по этапам и тестовый прогон с журналом в формате настоящих логов.