Seleccionar combinaciones paramétricas para operativa real no es muy distinto de elegir juegos de valores procedentes de las regiones In-Sample (IS) y analizar cuánto proyectan en la porción del histórico reservada para el Out-Sample (OS). Quizá la única diferencia es que en operativa real a menudo deben ajustarse ad hoc algunas variables que afectan a los stops o número de operaciones por período para satisfacer un nivel dado de aversión al riesgo.

FACTORES QUE AFECTAN A LA ELECCIÓN DE PARÁMETROS

En este estudio analizaremos estos dos factores que afectan a la selección de parámetros:

a)  Tamaños y dependencia temporal de las series IS.-  Sobre la cuestión del tamaño hay dos posturas, pero ninguna aporta a día de hoy argumentos concluyentes: Por un lado están quienes argumentan que “cuanto más histórico mejor” y son partidarios de modelos con anclaje y, por otro lado,están los que defienden que no tiene mucho sentido entrenar sistemas en históricos muy alejados en el tiempo debido al incesante proceso de cambio en los mercados. Estos últimos defienden los modelos acotados en los extremos o sin anclaje.

La cuestión de fondo, aún sin resolver, es  determinar qué tipo de información tiene mayor utilidad en la fase de entrenamiento y cuál es su potencial predictivo en la fase de validación.  Si asumimos que “cuanto más mejor” estaremos apostando por mayor generalidad y entrenando a la estrategia en un mayor número de regímenes de los mercados. El resultado que se persigue –lo que no quiere decir que se obtenga siempre– es un desempeño menos brillante en el espacio próximo pero más robusto en el largo plazo. La apuesta por intervalos de entrenamiento más pequeños y contiguos al tramo de validación busca un mejor comportamiento del modelo en espacios próximos, aun a riesgo de mermar su capacidad de respuesta a un abanico más amplio de configuraciones.  

Por otra parte está la contigüidad temporal: Algunos defienden la existencia de una especie de “flecha del tiempo” en los mercados. Por ello asumen la clásica sucesión de intervalos ISàOS que conocemos como proceso walk-forward. Otros, argumentan que, dado que los mercados no tienen memoria a largo plazo, da lo mismo un  walk-forward que un walk-backward (OSßIS). En realidad consideran más ventajosos los métodos de validación cruzada ya que los análisis no se limitan a un único escenario que representa la secuencia histórica, sino a una multiplicidad de cortes temporales en teoría igualmente probables.

b) Elección de valores óptimos.- Valores “óptimos” no es lo mismo que“sobreoptimizados”. La clave está en cómo se obtienen esos valores durante las fases de entrenamiento (IS) y cuáles se seleccionan en las de validación (OS) y operativa real. Al optimizar en la región IS encontramos varios tipos de valores:

1. Valores de rendimiento máximo: Combinaciones paramétricas que generan los valores más altos de la función objetivo o ratio diana empleado para optimizar. Podemos considerar valores de este tipo los situados por encima del percentil 95. 
2. Valores prototipo: Aquellos que más se repiten dentro del cuartil superior (Q₃) del conjunto de combinaciones paramétricas ordenadas según el ratio diana.
3. Valores neutros: Los situados a derecha e izquierda de la mediana (Q₂). Representan el grueso de la distribución (50%) y nos dan una idea del rendimiento que nos cabe esperar de una estrategia en el largo plazo.
4. Valores subóptimos: Los situados a la izquierda del primer cuartil (Q₁). Son las combinaciones paramétricas que generan los peores resultados IS.

En los procesos Walk-forward y de validación cruzada existe la tendencia a elegir directamente las mejores combinaciones del IS como idóneas también para el OS.  Esto sería válido bajo el supuesto de que las pautas, ineficiencias o procesos tendenciales que captura el sistema -y gracias a los cuales consigue generar alpha- son invariables en el tiempo o al menos permanecen estables durante largos períodos. Pero, la incesante variabilidad de las formaciones de precios y la sucesión de cambios de régimen de mayor amplitud parecen invalidar este planteamiento. De hecho, basta con optimizar un simple cruce de medias para comprobar que el número idóneo de barras en cada media varía continuamente en los distintos cortes históricos. Y esto es así con independencia del timeframe y activo elegido.

Seguidamente realizaremos un ejemplo de análisis multiescenario empleando el método SPR (System Parameter Randomización) del que ya hemos hablado en anteriores artículos.  Para ello tomaremos como base un sistema intradiario aplicado al futuro del SP&500 (ES) con las siguientes características:

Y estos son los parámetros optimizables y horquillas de valores establecidos en la fase de diseño:

El enorme número de combinaciones paramétricas hace inviable una optimización exhaustiva y justifica la implementación del método SPR. 

Nuestro primer paso será elegir una muestra suficientemente representativa de permutaciones paramétricas para las regiones de entrenamiento y validación. Estimamos suficiente un número de 1.000 muestras para cada región. Con esta amplia muestra de curvas de beneficio podremos simular de manera razonablemente precisa los recorridos posibles, así como las principales métricas R/R que caracterizan sendos tramos del histórico para diferentes niveles de confianza.

Una vez realizada la simulación obtenemos los siguientes resultados para las regiones IS y OS:

- Percentil 0 (PO).- Es el valor más bajo del ratio diana y representa la combinación paramétrica de mínimo rendimiento. En un sistema bien construido ofrece información relevante. Si las reglas son robustas y las horquillas paramétricas están bien acotadas no debería aparecer una combinación específicas de valores con resultados negativos o en todo caso muy alejados del promedio de los valores situados por debajo del primer cuartil.

- Percentil 25 (Q1).- Las combinaciones paramétricas con resultados por debajo del primer cuartil representan los valores subóptimos. El promedio de estos resultados nos da una imagen bastante certera de lo que nos cabe esperar en los escenarios más adversos. En otro contexto, cuando el rendimiento un sistema operado en real cae por debajo de Q1 durante un periodo razonablemente largo tenemos otro indicador más de la posible ruptura del mismo.

- Percentil 50 (Q2).- Las combinaciones paramétricas que generan resultados próximos a la mediana  son lo que hemos denominado “valores neutros”.  Estos valores son posiblemente los más importantes y tienen diferentes lecturas en función del contexto en el que se analicen

• Pueden considerarse como el rendimiento de la estrategia debido a la calidad de la lógica. Así, cuanto mejores sean los resultados en la mediana más robustas y estables serán las reglas.
• Representa el R/R medio que cabe esperar del sistema a largo plazo. Por ello sus estadísticas servirán para construir un test-profile bastante ajustado a la realidad en un análisis multi-hilo.
• En el contexto de un proceso de optimización sirven para determinar si una combinación paramétrica procedente de un IS está sobreoptimizada. Esto ocurre cuando con ella obtenemos en el OS resultados por debajo de la mediana.

- Percentil 75 (Q3).- Son las combinaciones que denomino “valores prototipo”. Por lo general (aunque no siempre es así) son las que obtienen resultados más consistentes y las que más proyectan en el OS. Según mi experiencia, tanto en sistemas swing como intradiarios las combinaciones más prometedoras están en el intervalo P75-P98.

- Percentil 95 (P95).- Entre este percentil y el valor máximo obtenemos las combinaciones paramétricas de máximo rendimiento. Son las combinaciones que generan mejores valores en el IS, lo que no quiere decir que sean las que más proyecten y se deban usar siempre en un OS de periodo único o en cualquier proceso WF.

- Percentil 100 (P100).- Es la combinación paramétrica que obtiene mejores resultados en el IS. Normalmente debemos descartarla ya que suele ser, aunque no siempre, una solución sobreoptimizada que ofrece peores resultados en el OS y en operativa real.

VALIDACIÓN MULTIESCENARIO DE AMPLIO ESPECTRO

Seguidamente vamos a iniciar un proceso de selección paramétrica tomando como base el método SPR con anclaje.

Partiendo de los resultados de la tabla anterior, buscamos en el IS combinaciones paramétricas representativas delos tres cuartiles, así como de P0, P95 y P100. Las combinaciones de mínimo(P0) y máximo rendimiento (P100) son únicas. Mientras que para las demás clases vamos a tomar como referencia la moda, o valor que más se repite, dentro del intervalo entre dos percentiles. Los intervalos son:

•          Valores subóptimos: Q1 à [P0, P25]
•          Valores neutros: Q2 à [P25, P75]
•          Valores prototipo: Q3 à [P75, P95]
•          Valores de rendimiento máximo: [P95-P100]

Estas serían las combinaciones paramétricas de referencia para el IS:

Seguidamente aplicamos estas combinaciones de valores obtenidos en el IS sobre la región OS y obtenemos este ilustrativo gráfico con las 6 combinaciones de referencia del IS proyectadas sobre un muestreo de curvas del OS obtenido por SPR:

Y ésta es la tabla resultante de aplicar las combinaciones paramétricas del IS en el OS:

La mejor combinación de valores,considerando el ratio diana, es la de los valores prototipo (Q3), seguida por los valores de máximo rendimiento (P95). También se confirma que la mejor combinación del IS (P100) obtiene los peores resultados en el OS y pone de manifiesto el efecto de sobreoptimización.

En otros artículos hemos definido la sobreoptimización como aquellas combinaciones paramétricas que siendo óptimas en el IS generan resultados pobres al ser aplicadas en otras regiones fuera de muestra. Podemos formalizarla más tomando como referencia la mediana (Q2) de la distribución OS.

 Y en el caso que nos ocupa tendríamos:

 Por tanto, solamente las combinaciones de máximo y mínimo rendimiento del IS caen por debajo de la mediana del OS (4,02).En realidad, lo que está evidenciando este análisis, tal y como podemos ver en el gráfico de la proyección ISàOS, es que cualquier combinación paramétrica excluyendo los extremos a ambos lados de la distribución sería perfectamente viable en este sistema. Lógicamente, la combinación de peor rendimiento no cae por debajo de la mediana porque esté sobreoptimizada, sino porque es una combinación consistentemente pobre en todo el histórico.

Cuando disponemos de un amplio muestreo SPR para el IS, podemos afirmar que un sistema nunca estará sobreoptimizado, si las combinaciones paramétricas elegidas para el OS o para operativa real están por debajo del P95.

El hecho de que un sistema no esté sobreoptimizado no es garantía de nada; puede dejar de funcionar cuando surge una marcoépoca que no es compatible con las reglas de base o cuando el mercado se sale progresivamente de los valores de referencia de la horquilla paramétrica establecidos en la fase de diseño. En el primer caso tendremos un final del sistema abrupto y, en el segundo, una degradación progresiva.Lógicamente es mucho más común esto último.

VALIDACIÓN MULTIESCENARIO E HIPERPARÁMETROS DE TAMAÑO

Si nos salimos de la validación con anclaje, la más sencilla y fácilmente comprensible, los análisis multiescenario se vuelven más densos porque ahora entran en juego otras variables. Por ejemplo, la proyección dinámica de resultados y el tamaño de los cortes IS/OS.

Los análisis de proyección dinámica toman en consideración la evolución en el tiempo de las combinaciones paramétricas seleccionadas en el IS. Con este tipo de análisis buscamos respuesta a estas cuestiones:  

•  ¿Cuánto proyecta el sistema?
• ¿Cuál es su tasa de degradación o desacople al mercado?
• ¿Cómo responde el sistema a los distintos regímenes del mercado?

Para realizar los análisis utilizaremos la combinación paramétrica de mayor rendimiento obtenida en la evaluación de amplio espectro (Q3) y, como contraste, la combinación de valores neutros del OS (Q2) que son los valores en la mediana de la distribución:

El primer paso será determinar cuánto proyecta año a año en el OS la combinación Q3 (valores prototipo) en comparación con la mediana del OS representada por Q2.

En este gráfico podemos apreciarla evolución del SQN utilizado como ratio diana en esta evaluación. Las barras representan el valor del ratio obtenido por la combinación (Q3) al ser proyectada sobre la región OS y, la línea punteada, los valores en la mediana(Q2).

El gráfico inferior es similar, pero tomando como base de la comparativa un estimador genérico de R/R como es el ratio de Sortino:

En conformidad con lo ya dicho,vamos a aceptar la siguiente definición de “proyección” de un sistema:

>> Un sistema proyecta cuando una configuración específica obtenida en la región de entrenamiento (IS) obtiene resultados superiores la mediana del conjunto de configuraciones evaluadas en la región fuera de muestra (OS).     

En el ejemplo que venimos mostrando podemos afirmar que el rendimiento del sistema se sitúa claramente por encima de la mediana durante los primeros 5 años (2008-12), cayendo por debajo en los dos siguientes (2013-14) y obteniendo resultados inconsistentes el resto.

El hecho de que un sistema proyecte durante 5 años no quiere decir en absoluto que debamos operarlo con los mismos parámetros durante ese intervalo de tiempo. En realidad, como ya se ha visto en otros artículos, los períodos de optimización siguen una lógica similar al rebalanceo de carteras. Normalmente para cadencias operativas bajas y medias bastará con elegir periodos anuales y, para cadencias muy altas, nos podríamos ir a períodos más cortos; semestrales o trimestrales. En sistemas con parámetros y reglas muy sensibles a la volatilidad u otros cambios de régimen,en lugar de intervalos temporales, quizá sea más aconsejable establecer criterios precisos para detectar dichos cambios y reoptimizar cuando se producen.  

Bueno, pues hasta aquí con esta primera parte del artículo. En la siguiente entrega responderé a las preguntas que han quedado en el tintero y otras cuestiones relacionadas con la selección de parámetros en los modelos multiescenario.

Andrés A. García

@Tradingsys.org, 2019.