Упростил модель данных для сохранения, нашел несколько простых багов. Разбил тесты на более простые и работающие с базой.
Теперь могу отдельно запускать заполнение над файлами и над api. Прогресс выполнения фиксирую в базе.