Po co OOS?
Wynik tylko in-sample (na danych, na których stroisz parametry) bywa iluzją. Walidacja na OOS (out-of-sample) sprawdza, czy edge jest prawdziwy, a nie „dopasowany”.
Minimalny workflow
- Podziel dane (np. 70% IN / 30% OOS) z zachowaniem chronologii.
- Stroisz tylko na IN → zamrażasz parametry.
- Walidujesz na OOS. Jeśli OK → prosty walk-forward (kilka okien kroczących).
Unikaj leakage
- Żadnych informacji z przyszłości (look-ahead). Agregaty tylko do momentu decyzji.
- Uważaj na strefy czasowe i timestampy (decyzja vs egzekucja).
- W backteście dodaj koszt: spread, prowizja, typowy slippage.
Jak oceniać stabilność?
- EV/Sharpe/PF: porównaj IN vs OOS — szukamy degradacji, ale nie zapaści.
- Parametry: mała wrażliwość = większa szansa na realny edge.
- Walk-forward: wyniki zbliżone między oknami → stabilniej.
Ćwiczenie
Zrób backtest 100–200 sygnałów, potem OOS i prosty walk-forward (np. 3 okna). Zapisz różnice metryk i wypisz 3 hipotezy, czemu OOS spadł (lub nie) względem IN.