Současné dění ve světě forecastingu
4 min readAug 10, 2020
- Facebook spustil projekt Forecast pro predikce v rámci komunity (názor TechCrunch). Center for Security and Emerging Technology se zajímavým dosahem v americké politice spustilo soutěž Foretell. Forecasteři z webu Metaculus podle analýzy predikují lépe než experti.
- Scott Alexander napsal na svém blogu vynikající esej o tom jak je pravděpodobnostní uvažování důležitější než samotné predikce. Ross Guetzemacher a kol. publikovali výzkumnou agendu studie “Forecasting AI Progress” výzkumného týmu z pěti univerzit. Zajímavý je i článek o tom jak zpětně hodnotit predikce a stejně tak byl na Lesswrong publikován podrobný příspěvek o neintuitivní důležitosti 50% predikcí.
- Naši kolegové-efektivní altruisté nadále odvádí vynikající práci na mapování COVID-19 intervencí ve světě. Tento dataset je v rámci projektu Epidemic Forecasting (pod vedením Jana Kulveita a Jacoba Lagerrose) průběžně propojován s epidemiologickými modely pro vytvoření přesnější odhadů toho, jaká opatření v jakých podmínkách reálně zafungovala.
- V Kanadě vznikla vládní iniciativa CanCOVID, které má za cíl “expedite communication and collaboration between the scientific, healthcare and policy communities during the COVID-19 crisis”, tzn. propojovat experty na COVID a facilitovat tak smysluplnou práci s vědeckými daty v oblasti.
- Komunita efektivních altruistů z Chicaga plánuje zimní forecastingovou soutěž, v rámci které budou v první fázi zúčastněné týmy samy navrhovat soubory otázek. Nuno Sempere píše forecasting newsletter, ze kterého zde také čerpáme. Jacob Lagerros (Foretold) dále udržuje seznam projektů věnujících se predikčním trhům a forecastingu. NA EA Foru byl také publikován článek Challenges in Evaluating forecaster performance.
- Mezi nedávné články týkající se forecastingu od racionalistické komunity z Less Wrong patří Prediction = Compression, Betting with Mandatory Post-Mortem nebo Radical Probabilism. Již dříve zde byly publikovány posty např. o tom, jaké podmínky musí být splněny aby fungovaly predikční trhy, jakých 16 typů predikcí poskytuje užitečné informace nebo jaké byly indikátory úspěchu forecasterů v Good Judgement Open:
- Good Judgement Analytics dále poskytuje COVID-19 dashboard. FantasyScotus porazil GoodJudgementOpen v právnických rozhodnutích. Superforecasteři z GJP predikovali, že Rusko a USA zahájí nějakou (i když omezenou) formu vyjednávání nové dohody START, a to mnohem dříve než široká veřejnost. Své důvody navíc plně zveřejnili.
- Forbes napsal článek o úspěchu projektu Metaculus. Tento projekt, ve kterém pracuje například náš kolega z Efektivního Altruismu Matěj Vrzala, také pořádá například Summer Academy pro nové forecastery.
- V čem se mohou poučit Spojené státy od předpovědí počasí řeší článek “How does pandemic forecasting resemble the early days of weather forecasting” (např. vytvořit National Weather Center, jen pro forecasting).
- John Hopkins University spustila “Disease Prediction Platform”, v rámci které nabízí odměny nejlepším forecasterům až do výše 600 USD.
- Analytici předpokládají velký tlak na schválení vakcíny v USA před prezidentnskými volbami, aby Trumpovi vzrostla šance na znovuzvolení. “All the datapoints we’ve collected make me think we’re going to get a vaccine prior to the election. The administration is incredibly incentivized to approve at least one of these vaccines before Nov. 3.”
- Projekt Replication Markets přidá nové kolo se sociálními a behaviorálními otázkami týkajícími se COVID-19 a “pre-print market” v rámci kterého účastníky požádají, aby predikovaly např. publikace nebo citace. Projekt láká nové forecatery heslem “If you are knowledgeable and opinionated, Replication Markets is the place to make your opinions really count.”
- Blockchainový decentralizovaný predikční trh Augur publikoval “An overview of the platform and of v2 modifications”. Jeho tvůrci píší mimo jiné blog se zajímavými články jako např. “How One Trader Turned $400 into $400k with Political Futures”. Coronavirus Information Markets ale vykazují likviditu jen 12.000 USD v obchodovaném objemu.
- Vznikl také projekt na COVID-19 forecasting s tzv. “reputačními body”.
- V médiích se vyskytují i některé příspěvky kritizující forecasting jako např. článek Financial Times k šanci obchodní dohody UK a USA, kde autor píše “I hate to attach numerical probabilities to any future outcomes.”
- Významný americký ekonom Cass Sunstein napsal článek “When the crowds aren’t wise", kde kritizuje některé formy použití forecastingových metod. Forecasting podle něj může produkovat suboptimální výsledky, když má většina účastníků velmi špatný dosah ke kvalitním informacím.
- Článek The Rules To Being A Sellside Economist satiristicky radí ekonomům kteří se chtějí proslavit, aby se řídili “pravidlem 40 %” a většině nepravděpodobných scénářů přisuzovaly 40% pravděpodobnost.
- Coup cast je stránka, která predikuje pravděpodobnosti převratů ve světě.
- Britský politický poradce Dominic Cummings poskytl rozhovor o forecastingu a najal jednoho ze superforecasterů z Tetlockovy původní studie pro knihu “Superforecasters”, kterou sám již dříve recenzoval. To v některých kruzích vyvolalo rozporuplné reakce, Cummings následně odpovídal reportérům “Read Philip Tetlock’s Superforecasters, instead of political pundits who don’t know what they’re talking about.”
- Zajímavá je také studie Assessing the Performance of Real-Time Epidemic Forecasts: A Case Study of Ebola in the Western Area Region of Sierra Leone, 2014–15, ve které nicméně výzkumníci pracovali s lepšími daty než máme dnes v případě koronaviru, protože symptomy Eboly jsou evidentnější.
- Matija Franklin a kol. z University of Cambridge v (ještě nepublikované) studii Forecasting Techniques analyzují kognitivní zkreslení forecasterů a mimo jiné zmiňují: “Governments may wish to allocate significant resources to subsidize research into practical implementations of forecasting methods. (…) It is up to our current generations to prove and demonstrate practically that research in forecasting can yield significant and tangible positive benefits. (…) Advanced forecasting techniques must consequently go much beyond academic research. In the medium-term, this would culminate in high-profile successes to ensure that this approach to forecasting quickly permeates public understanding and becomes natural for each of us.”
- V Českých prioritách pracujeme na přípravě forecastingového projektu OPTIONS (Odborný Predikční Tým pro Intenzivní Odhadování v Nenadálých Situacích). Projekt se nachází v rané fázi a nyní pracujeme na analýze vhodného typu hodnocení (Brierovo skóre vs. Logarimické hodnocení) a na výběru metody a způsobu tvorby maximálně statisticky reprezentativní skupiny odborníků na široké spektrum krizových situací.
