TLDR The lies we tell — что не так с бенчмарками it-технологий

Все лгут.

TLDR — даже когда сам того не хочешь, можешь наврать бенчмарком. Надо стараться давать подробное описание методики для воспроизведения! Хотя бы =)

• hardware : запускают на разном, а надо на чём-то доступном для воспроизведения, типа aws.
• Batch processing =(
• long run, large set — деградация после N часов под нагрузкой или когда данных больше 1Tb — умалчивают.
• Averages (моё любимое) — не показывают всю статистику. p99.9 ?
• Concurrency — просто по-тихому запускают как-то. C10k же надо!
• Искажение выжившего — публикуют результаты только если они хорошие для автора.

Что делать ?

Не понятно!