DVT — open-source платформа визуального ETL: пайплайн собирается из нод (чтение → преобразования → запись) и выполняется на воркерах поверх Dask. Я разрабатываю бэкенд DVT, в статье — устройство одного из его компонентов. Нода чтения из БД должна одинаково работать на таблице в 10 тыс. и в 100 млн…
Как читать таблицу на 100 млн строк и не положить ни память, ни базу
Это краткое изложение. Полный текст материала доступен на сайте источника.