TLDR Сила метода “Двух случайных выборов”
Как балансировать нагрузку между узлами, учитывая их текущую загруженность? Можно каждый раз когда происходит запрос…
TLDR Любая сложная система постоянно испытывает проблемы, но успешно с ними справляется. Когда всё-таки всё падает, то это обычно комплекс из 100500 неудачно совпавших причин.
TLDR — сложное и дешевое не продашь! Начинай с мелких клиентов, постепенно целься в крупняк.