Делал парсер на питоне, 100 Мб канал, но сначала скачивал страницы curl`ом в 30 потоков.
Ivan Ivanov
41

380 гигов не вошло бы ни на мой VPS, ни на мой домашний SSD :)

Но идея скачать сначала мультикурлом а потом парсить, безусловно, отличная.

One clap, two clap, three clap, forty?

By clapping more or less, you can signal to us which stories really stand out.