Делал парсер на питоне, 100 Мб канал, но сначала скачивал страницы curl`ом в 30 потоков.
Ivan Ivanov
41

380 гигов не вошло бы ни на мой VPS, ни на мой домашний SSD :)

Но идея скачать сначала мультикурлом а потом парсить, безусловно, отличная.