Backtesting i Forward Testing: Znaczenie korelacji

Handlowcy, którzy chcą wypróbować pomysł na rynku na żywo, często popełniają błąd polegając całkowicie na wynikach weryfikacji historycznej, aby ustalić, czy system będzie opłacalny. Chociaż testowanie wsteczne może dostarczyć handlowcom cennych informacji, często jest mylące i jest tylko jedną częścią procesu oceny.

Testy poza próbą i przyszłe testy wydajności dostarczają dalszego potwierdzenia skuteczności systemu i mogą pokazać prawdziwe kolory systemu, zanim prawdziwe środki pieniężne znajdą się na linii. Dobra korelacja między testami historycznymi, wynikami poza próbą i wynikami testów wydajnościowych ma zasadnicze znaczenie dla określenia rentowności systemu handlowego. (Oferujemy kilka wskazówek na temat tego procesu, które mogą pomóc udoskonalić bieżące strategie handlowe. Aby dowiedzieć się więcej, przeczytaj: Testowanie wsteczne: Interpretacja przeszłości .)

Podstawy weryfikacji historycznej

Testowanie wsteczne odnosi się do zastosowania systemu transakcyjnego do danych historycznych w celu sprawdzenia, jak system działałby w określonym czasie. Wiele dzisiejszych platform handlowych obsługuje testowanie wsteczne. Inwestorzy mogą testować pomysły za pomocą kilku naciśnięć klawiszy i uzyskać wgląd w skuteczność pomysłu bez ryzyka funduszy na rachunku transakcyjnym. Testowanie wsteczne umożliwia ocenę prostych pomysłów, takich jak zachowanie średniej ruchomej crossovera na danych historycznych lub bardziej złożonych systemów z różnorodnymi danymi wejściowymi i wyzwalaczami.

Tak długo, jak pomysł można skwantyfikować, można go poddać weryfikacji historycznej. Niektórzy inwestorzy i inwestorzy mogą zasięgnąć wiedzy wykwalifikowanego programisty, aby rozwinąć pomysł w testowalną formę. Zazwyczaj wymaga to od programisty kodowania pomysłu na własny język obsługiwany przez platformę transakcyjną. Programista może uwzględnić zdefiniowane przez użytkownika zmienne wejściowe, które pozwalają traderowi „dostosować” system. Przykładem może być wspomniany powyżej prosty system zwrotnicy średniej ruchomej: trader byłby w stanie wprowadzić (lub zmienić) długości dwóch średnich kroczących używanych w systemie. Inwestor mógł przetestować wstecznie, aby ustalić, które długości średnich kroczących byłyby najlepsze w przypadku danych historycznych.

Badania optymalizacyjne

Wiele platform handlowych pozwala również na badania optymalizacyjne. Wymaga to wprowadzenia zakresu dla określonych danych wejściowych i umożliwienia komputerowi „wykonania matematyki”, aby dowiedzieć się, które dane wejściowe byłyby najlepsze. Optymalizacja wielu zmiennych może wykonać obliczenia matematyczne dla dwóch lub więcej zmiennych, aby określić, które kombinacje osiągnęłyby najlepszy wynik. Na przykład inwestorzy mogą powiedzieć programowi, które dane wejściowe chcieliby dodać do swojej strategii; byłyby one następnie zoptymalizowane do ich idealnych wag, biorąc pod uwagę przetestowane dane historyczne.

Testowanie wsteczne może być ekscytujące, ponieważ nierentowny system można często magicznie przekształcić w maszynę do zarabiania pieniędzy z kilkoma optymalizacjami. Niestety, ulepszenie systemu w celu osiągnięcia najwyższego poziomu rentowności w przeszłości często prowadzi do systemu, który będzie działał słabo w prawdziwym handlu. Ta nadmierna optymalizacja tworzy systemy, które dobrze wyglądają tylko na papierze.

Dopasowanie krzywej polega na wykorzystaniu analiz optymalizacyjnych do stworzenia największej liczby wygranych transakcji przy największym zysku z danych historycznych wykorzystanych w okresie testowym. Wprawdzie wygląda to imponująco w wynikach testowania wstecznego, dopasowanie krzywej prowadzi do niewiarygodnych systemów, ponieważ wyniki są zasadniczo specjalnie zaprojektowane dla tych konkretnych danych i okresu.

Testowanie wsteczne i optymalizacja zapewniają inwestorowi wiele korzyści, ale jest to tylko część procesu oceny potencjalnego systemu handlowego. Kolejnym krokiem tradera jest zastosowanie systemu do danych historycznych, które nie zostały wykorzystane w początkowej fazie weryfikacji historycznej.

Dane w próbie a dane poza próbą

Podczas testowania pomysłu na danych historycznych warto zarezerwować okres danych historycznych do celów testowych. Początkowe dane historyczne, na których pomysł jest testowany i optymalizowany, są nazywane danymi z próby. Zestaw danych, który został zarezerwowany, jest znany jako dane poza próbą. Ta konfiguracja jest ważną częścią procesu oceny, ponieważ zapewnia sposób przetestowania pomysłu na danych, które nie były składnikiem modelu optymalizacji. W rezultacie dane nieobjęte próbą w żaden sposób nie wpłyną na ten pomysł, a inwestorzy będą mogli określić, jak system może sobie radzić z nowymi danymi, tj. W prawdziwym handlu.

Przed rozpoczęciem testowania wstecznego lub optymalizacji, inwestorzy mogą zarezerwować procent danych historycznych, które mają zostać zarezerwowane do testowania poza próbą. Jedną z metod jest podzielenie danych historycznych na trzy części i posegregowanie jednej trzeciej do wykorzystania w testach poza próbą. Tylko wstępne dane i wszelkie optymalizacje powinny zostać wykorzystane. Rycina 1 pokazuje linię czasu, w której jedna trzecia danych historycznych jest zarezerwowana do testowania poza próbą, a dwie trzecie do testowania w próbie. Chociaż ryc. 1 przedstawia dane z poza próby na początku testu, w typowych procedurach część poza próbą byłaby bezpośrednio poprzedzająca wykonanie z wyprzedzeniem.

Rycina 1: Linia czasu reprezentująca względną długość danych w próbie i poza próbką wykorzystywanych w procesie weryfikacji historycznej.

Korelacja odnosi się do podobieństw między wynikami a ogólnymi trendami dwóch zestawów danych. Miary korelacji można wykorzystać do oceny raportów skuteczności strategii utworzonych w okresie testowym (funkcja zapewniana przez większość platform handlowych). Im silniejsza korelacja między nimi, tym większe prawdopodobieństwo, że system dobrze sobie poradzi w zakresie przyszłych testów wydajności i handlu na żywo.

Rysunek 2 ilustruje dwa różne systemy, które zostały przetestowane i zoptymalizowane na danych z próby, a następnie zastosowane do danych poza próbą. Wykres po lewej pokazuje system, który był wyraźnie dopasowany do krzywej, aby działał dobrze na danych w próbie i całkowicie zawiódł na danych poza próbą. Tabela po prawej pokazuje system, który dobrze działał zarówno na danych z próby, jak i poza próbą. Po opracowaniu systemu handlowego z wykorzystaniem danych z próby można go zastosować do danych z próby. Handlowcy mogą oceniać i porównywać wyniki wydajności między danymi z próby i poza próbą.

Rysunek 2: Dwie krzywe akcji. Dane handlowe przed każdą żółtą strzałką oznaczają testowanie w próbie. Transakcje wygenerowane między żółtymi i czerwonymi strzałkami wskazują na testy poza próbą. Transakcje po czerwonych strzałkach pochodzą z faz testowania wydajności.

Jeśli istnieje niewielka korelacja między testami w próbie i poza próbą, jak lewy wykres na ryc. 2, prawdopodobnie system został nadmiernie zoptymalizowany i nie będzie dobrze działał w handlu na żywo. Jeśli istnieje silna korelacja w wynikach, jak pokazano na prawym wykresie na ryc. 2, następny etap oceny obejmuje dodatkowy rodzaj testów poza próbą, znany jako przyszłe testy wydajności. (Więcej informacji na temat prognozowania znajduje się w: Prognozowanie finansowe: metoda bayesowska ).

Podstawy testowania wydajności do przodu

Forwardowe testy wydajności, znane również jako handel papierowy, zapewniają handlowcom kolejny zestaw danych pozapróbowych, na podstawie których można ocenić system. Terminowe testowanie wydajności jest symulacją faktycznego handlu i polega na przestrzeganiu logiki systemu na rynku na żywo. Nazywa się to również handlem papierowym, ponieważ wszystkie transakcje są wykonywane wyłącznie na papierze; to znaczy, wejścia i wyjścia handlowe są dokumentowane wraz z wszelkimi zyskami lub stratami dla systemu, ale nie są przeprowadzane żadne prawdziwe transakcje.

Ważnym aspektem przyszłych testów wydajności jest dokładne przestrzeganie logiki systemu; w przeciwnym razie dokładna ocena tego etapu procesu staje się trudna, jeśli nie niemożliwa. Handlowcy powinni być szczerzy wobec wszelkich transakcji i wyjść z transakcji oraz unikać zachowań takich jak transakcje zbierania wiśni lub nie włączać transakcji papierowych racjonalizujących, że „nigdy nie wziąłbym tej transakcji”. Jeżeli handel miałby miejsce zgodnie z logiką systemu, należy go udokumentować i ocenić.

Wielu brokerów oferuje symulowane konto handlowe, na którym można składać transakcje i obliczać odpowiedni zysk i stratę. Korzystanie z symulowanego konta handlowego może stworzyć pół-realistyczną atmosferę, w której można ćwiczyć handel i dalej oceniać system.

Ryc. 2 pokazuje również wyniki do przodu testowania wydajności w dwóch systemach. Ponownie, system przedstawiony na lewym wykresie nie radzi sobie dobrze poza wstępnym testowaniem danych w próbie. System pokazany na właściwej tabeli nadal jednak działa dobrze na wszystkich etapach, w tym w testach wydajności do przodu. System, który wykazuje pozytywne wyniki z dobrą korelacją między testami wydajności w próbie, poza próbą i do przodu, jest gotowy do wdrożenia na rynku na żywo. (Zobacz także: Plusy i minusy handlu papierami .)

Dolna linia

Testowanie wsteczne jest cennym narzędziem dostępnym na większości platform handlowych. Dzielenie danych historycznych na wiele zestawów w celu zapewnienia testów w próbie i poza próbą może zapewnić handlowcom praktyczne i skuteczne środki do oceny pomysłu i systemu handlowego. Ponieważ większość traderów stosuje techniki optymalizacji w testach historycznych, ważne jest, aby następnie ocenić system na czystych danych, aby określić jego żywotność.

Kontynuowanie testów poza próbą z testami wydajności zapewnia kolejną warstwę bezpieczeństwa przed wprowadzeniem systemu na rynek, ryzykując prawdziwą gotówkę. Pozytywne wyniki i dobra korelacja między testami wstecznymi w ramach próby i poza próbą oraz testami wydajności w przód zwiększa prawdopodobieństwo, że system będzie dobrze działał w rzeczywistym obrocie. (Aby uzyskać kompleksowy przegląd analizy technicznej, zobacz: Podstawy analizy technicznej .)