Back-testing vs. Forward-testing

S článkem se dá v podstatě souhlasit, ale protože je napsaný brokerem, tak by mě zajímalo, jak takový broker podporuje to, o čem píše? Konkrétně se mi jedná o pasáž textu, který se zabývá backtestingem. Správně uvádíte v nevýhodách:

„Pro kvalitní Back-testing je třeba mít kvalitní a správné informace o vývoji instrumentu (mnohdy obchodníci disponují pouze krátkodobou historií, nebo dokonce značně zkreslenou)“.

Takže mi dejte vědět, jestli je od Purple Trading možné získat ticková data pro např. pětiletou historii. Pokud ne, tak jsou ten jen tzv. „knížecí rady“.

P.S.

Nezajímá mě, že mohu získat ticková data z jiných zdrojů. Mě zajímá, jak vstřícný je broker ke svým klientům, a jestli jim je ochoten dodat požadovaná data, nebo nemá moc zájem na tom, aby si lidé dělali kvalitní backtesty.

Napadlo ťa niekedy, že tie data možu byť spatne upravované? U roznych brokerov mi nesedia ani D1 sviečky a nie je to len tým že kto kedy uzatvára a časovým pásmom lebo tohoto som si vedomí. Čo potom ak pojdeme nižšie a dokonca na tickové data ktoré spatne proste reálne neookontroluješ. Ako mám potom prikladať váhu a relevantnosť informáciam, ktoré spatne mohol niekto upraviť? Aký je tvoj názor? 

V prvom rade čo to je? Forex je predsa necentralizovany trh a každý broker má tie dáta trochu iné. Potom zarátame rôzne spready, iné swapy, iné poplatky, rýchlosť pripojenia a tď a to všetko môže mať vplyv na výsledok. Takže za kvalitné dáta vezmeme nejaký jeden zdroj ktorý subjektívne vyhlásime za jediný správny? Alebo spravíme nejaký zložitý výpočet z viacerých zdrojov? 

Ono totiž nejaké ideálne kvalitné dáta vôbec nepotrebujeme. Rozdiely medzi tzv. kvalitnými a tzv. nekvalitnými dátami budú isto podstatne menšie ako rozdiely medzi dátami minulými a budúcimi. Čo potrebujeme, je odhaliť ako môžeme dáta z minulosti využiť v budúcnosti. Pričom pod pojmom dáta nemám na mysli iba nejaké ohlc a čas ale aj súvislosti. Kedy volatilita rastie, kedy stúpa, kedy sa rôzne instrumenty pohybujú podobne, ktoré meny sú atraktívne v danom čase a prečo. A mnohé iné informácie ktoré sa prejavujú na graficky či matematicky vyjadrenej závislosti ceny a času.

Ak takéto princípy dokážeme nájsť na minulých dátach a využiť ich, môžeme potom pri splnení ďalších podmienok úspešne obchodovat.  

Trocha sa chcem aj ja zapojiť do témy „back-testing“. Možno mi niekto budete vedieť vysvetliť moje pochybnosti o zmysluplnosti „back-testing“. Budem rád za každú relevantnú odpoveď.

Pokiaľ je pravdou čo je tu napísané, tak „back-testing“  sú z akého dôvodu užitočné? V podstate každý príspevok k tomuto článku má svoju pravdu.

Nemôžeme sa spoľahnúť na tickové dáta, ktoré sú dosť podstatné. Na rôznych inštrumentoch tickové dáta „urobia“ rôzny počet pohybov. Predpokladám, že je to v priemere cca 60 x. Uvedené som uviedol iba pre ilustráciu so skutočne menším odhadom, nakoľko táto zmena väčšinou prebieha intenzívnejšie. Tick zmení svoju cenu a tým aj štruktúru trhu min. 60 x. Potom najbližší TF je M1. Medzi M1 a M5 je to len 5 násobok „vykreslenia“, pričom medzi tickovým grafom a minútou je 60 násobok „vykreslenia“. A tak je to aj s ďalšími „susediacimi“ TF (napr. medzi H4 a D1 je 6 násobok). Samozrejme, že je potrebné vziať do úvahy aj priebežné vykreslenia sviečok na jednotlivých TF.

Čo chcem tým napísať? V podstate len toľko, že tickový graf je skutočne dôležitý. Pre mňa osobne maximálne (scalping).

Pokiaľ aj by tieto (tickové grafy) boli skutočne korektné, tak do „back-testing“ by bolo potrebné zadať aj aktuálne vyhlasovania makroekonomických správ v súvislosti pred vyhlásením, počas a po zverejnení. Samozrejme, že do takýchto testov by bolo nutné zadať aj geopolitické udalosti a udalosti väčšieho rázu ako Brexit, resp. „točenie“ sa okolo neho, USA – ČĽR (obchodná „vojna“), atď., atď. A to som napísal len časť udalostí, ktoré ovplyvnia ten-ktorý inštrument, resp. ho už ovplyvnili.

Osobne si myslím, že takéto informácie ani nie je možné zadať do „back-testing“. Iba ak-tak, že by uvedené niekto zadával priebežne a v budúcnosti to využil.

Takže sa pýtam: „Z akého dôvodu je potrebné robiť „back-testing“?“

Netvrdím, že sa nepozerám do minulosti – pozerám. Min, max na rôznych TF, ako aj  dlhších obdobiach, predchádzajúce sviečkové vzorce, S/R hladiny a pásma a pivoty. Ale to na čo sa pozerám, nie je v súvislosti s minulosťou, lebo tá sa opakovať už nebude, ale s budúcnosťou. Proste sledujem aktuálnu štruktúru trhu. Iste, na uvedené sa swingový, alebo pozičný obchodník pozerá trocha inak, ale to pre moju otázku/otázky až tak podstatné nie je.

Ja len stále nerozumiem, načo sú „back-testing“, keď podľa mňa majú veľmi malú výpovednú hodnotu. Určite ju nemajú takú, aby sa dalo hovoriť o štatistickej výhode.

Je to téma ktorá ide tak-trochu okolo mňa, ale na druhej strane ma zaujíma, či niečo nezanedbávam.

Prajem všetkým úspešný vstup do nového týždňa

Vladimír

Dobrý den,jak už to tak bývá, odpověď není tak jednoduchá, jak se může zdát, a tak i tento příspěvek bude trošku delší, abychom mohli dostatečně vysvětlit situaci a souvislosti.

Ticková data sice na nic nevyužíváme, ale uchováváme si je v cloudové záloze pro "strýčka Příhodu".

Celkem se bavíme o cca 4 letech tickových dat. To je ta dobrá zpráva.

Ta špatná zpráva je to, že MT4 server si paradoxně uchovává ticky v jiném formátu, než který využívá MT4 platforma při backtestování.

A co hůře, ticky jsou rozdělené do souborů po jednom dni.

MetaQuotes ani nemá žádný konverzní nástroj, který by se v téhle situaci dal použít. Jediný způsob, jak k Vám dostat ticky, by bylo stáhnout cca měsíc dat pro každý jeden symbol z cloudu, nahrát je do MT4 serveru, v administrátorském rozhraní vyexportovat ticky do CSV za stažené období a ty ticky z MT4 serveru zase smazat (dat je hodně a velikost disku omezená).

Tohle by bylo potřeba udělat tolikrát, kolik bude exportovaných měsíců (a pro všechny instrumenty zvlášť).

Exporty by se bohužel musely dělat po měsíci, protože tady narážíme na limitaci MT4 serveru - vyexportovat jde jen omezené množství ticků v jeden moment a pokud je daný symbol zrovna volatilní, tak ten limit může být klidně třeba jen 10 dní. A tohle pořád dokola :). Jestli distribuovat ticky po měsíci, po roce nebo mít jeden obří soubor za celou historii už je jen kosmetický problém.To je kontext k této problematice.

Odpověď je tedy ano, teoreticky lze poskytnout ticková data za relativně slušně dlouhé období, ale zabere to opravdu hodně času. Kdybychom uvažovali, že zpracovat jeden měsíc pro jeden instrument bude trvat 2 minuty (velice pravděpodobně nebude a to je pořád scénář, kdy nenastane žádná chyba, problém, únava, ...), tak 2 (minuty na symbol) * 80 (symbolů) * 12 (měsíců) * 4 (roky) = 7 680 minut = 128 hodin práce. To je skoro jeden pracovní měsíc, kdy neuvažujeme naprosto žádné problémy.Můžeme se dostat na nižší hodnoty, když by se takový systém naprogramoval, ale i tam budou ty limitace v podobě nemožnosti exportu delšího období, nutnost stahování dat kousek po kousku, programování samo o sobě taky zabere nějaký čas atp.

Určitě by se na to dalo nahlížet jako na službu pro klienty, do které stojí za to investovat.

Podobný projekt - automatické publikování tickových dat - už byl dokonce před časem i navržený. Jen bohužel i ten jednorázový export pro vybrané symboly zabere slušné množství času, proto ta delší odpověď :).Pokud bude velký zájem o tato data (a ideálně jen pro vybrané symboly), tak se na to můžeme podívat :).

S pozdravem,PT

Dobrý den, bohužel jedna z těch premis není správná - neznáme datovou strukturu těch souborů, je to zase nějaký další formát než FXT a HST, které jsou veřejně známé a publikované přímo MetaQuotes.
Tento třetí formát nemá MetaQuotes popsaný ani ve své vnitřní dokumentaci pro brokery.
Máte pravdu, že v momentě, kdy známe struktury, tak by šla naprogramovat přímá konverze. Otevřeme toto téma s MetaQuotes a optáme se na tu strukturu (příjemnější, než to reverse-engineerovat). Vůle publikovat data tady je, ostatně jak jsme už zmiňovali, už jsme o tom také přemýšleli. Teď to asi bude znít trochu jako výmluva, ale zmíníme to i tak, ať zase máte co největší kontext.
Veliký dopyt po tickových datech není, takže přednost mají projekty jiné.
V současnosti jsou všichni programátoři naalokovaní na projektech, které mají svoje deadliny a na které je navázaná práce zase dalších oddělení. Ano, teoreticky by to nemělo zabrat moc času, ale pracovat na více projektech zároveň a přepínat mezi nimi není ani efektivní a ani příjemné.
Pokud nám MetaQuotes dá nějakou rozumnou odpověď, tak na tom v rámci časových možností budeme pracovat - přece jenom to je win-win pro obě strany.
Bohužel v tento moment na tom nemůžeme začít pracovat okamžitě, ale pokud opravdu potřebujete něco rychle otestovat, ozvěte se na support@purple-trading.com a pokusíme se něco vymyslet.
PS: Dat jsou jen 4 roky, protože PT má 4 roky :).

Zdravím,

i já bych uvítal ticková data v nějaké rozumné formě. Takže zájem by určitě byl.

Každopádně děkuji za odpovědi a přeji hezý den

Tento pohľad je čisto subjektívny a určite nezahŕňa všetky možnosti. Príklady sú samozrejme vymyslené a na jednotlivé situácie sa ich dá vymysliť mnoho.

- Ak priamo zo štruktúry tickových dát dokážem rozoznať a obchodovať použiteľnú stratégiu. Vyžaduje sa extrémne rýchla reakcia, vzhľadom na oneskorenie pri zadávaní pokynov si použitie pre retail neviem predstavi ato ani pri automatizovanom traduingu. (Príklad: Ak nasleduje medzi 8 a 11 hod 18 tickov nahor, bude s pravdepodobnosťou 75 percent nasledovať 22 tickov nadol)

- Ak v tickových dátach nájdem informácie, ktoré nie sú v dátach vyšších tf, prípadne sú v nich ťažko rozoznateľné a dokážem ich potom využiť pri tradingu na vyšších tf (Príklad: Z tickových dát zistím, že ak nasleduje viac ako 5 tickov v jednom smere, potom nasledujúca 5 min sviečka bude s pravdepodobnosťou 68 percent v tom istom smere)

- Ak som programátor a snažím sa predať čo najzložitejšie a najdrahšie riešenie pre retail alebo riešenie pre klienta, ktorý dokáže na tickových dátach obchodovať.

- Ak v tickových dátach nájdem informácie, ktoré sú podobné pre viac inštrumentov a dokážem ich využiť pri tradingu. Príklad: (Z tickových dát zistím, že spread v čase od 0:32 hod klesá na viacerých menových pároch a vstupujem do páru, kde je už spread normálny)

- Ak rozdiel v backteste pri použití tickových dát a dát bežne dostupných v mt alebo inej platforme je dotatočný pre rozpoznanie ziskovej a obchodovateľnej stratégie. (Príklad: bežne dostupné dáta neodhalia, že v stúpajúcej 1 min sviečke dochádza s 92 percent prevdepodobnosťou aspoň 9 krát k dosiahnujtiu ceny odlišnej od maxima aj minima)

Budem rád, ak sa do diskusie zapoja traderi, ktorí tickové dáta používajú a napíšu stručne príklady ich využitia.