Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
Reinforcement learning in pair-trading Application for a pair-trading strategy
Barra lateral del artículo
PDF
FLIP
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
Contenido principal del artículo
Resumen
Este estudio explora las implicaciones de la implementación de técnicas de aprendizaje reforzado para el trading de acciones parte del índice S&P 500 al 15 de octubre de 2022, bajo una estrategia de pair-trading. A través de un proceso de selección de pares de acciones se investiga si modelos de aprendizaje reforzado ofrecen una ventaja frente estrategias más simples. Los resultados indicaron sorpresivamente que modelos entrenados con entornos sencillos como el que no permite posiciones en corto, producen una mayor y constante rentabilidad, si se compara con los agentes entrenados en entornos con mayor complejidad lógica como lo son el de proporción del saldo disponible para entrar en posiciones según el conjunto de acciones y β-balanceado. Adicionalmente se observó que un incremento en el número de pasos por episodio, que generalmente lleva a consumir un mayor tiempo de entrenamiento para el hardware usado, no es garantía de mejorar considerablemente la varianza de la distribución de rentabilidades potenciales en los datos de trading, como tampoco es una variable que permita mejorar significativamente la media del retorno u otros indicadores, lo que se evidencia también en los valores value loss y policy loss, los cuales se tornaban explosivos y más volátiles luego de un valor de episodios determinado.
Palabras clave:
Descargas
Detalles del artículo
Referencias (VER)
Ait-Sahala, Y. (2002). Maximum likelihood estimation of discretely sampled diffusions: A closed-form approximation approach. Econometrica, 70(1), 223-262. DOI: https://doi.org/10.1111/1468-0262.00274
Bertram, W. (2009). Optimal trading Strategies for Ito diffusion processes. Physica A: Statistical mechanics and its applications, 338, 2865-2873. DOI: https://doi.org/10.1016/j.physa.2009.04.004
Bertram, W. (2010). Analytic solution for optimal statistical arbitrage trading. Physica A: Statistical mechanics and its applications, 389, 2234-2243. DOI: https://doi.org/10.1016/j.physa.2010.01.045
Carapuco, J., Neves, R. y Horta, N. (2018). Reinforcement learning applied to forex trading. Applied Soft Computing Journal, 73, 783-794. DOI: https://doi.org/10.1016/j.asoc.2018.09.017
Carr, P. y Wu, L. (2004). Time-changed Levy processes and option pricing. Journal of financial economics, 1(71), 113-141. DOI: https://doi.org/10.1016/S0304-405X(03)00171-5
Carta, S., Corriga, A., Ferreira, A. y Podda, A. (2021). A multi-layer and multi-ensemble stock trader using deep learning. Applied Science, 51, 889-905. DOI: https://doi.org/10.1007/s10489-020-01839-5
Chakole, J., Kolhe, M., Mahapurush, G., Yadav, A. y Kurhekar, M. (2021). A Q-learning agent for automated trading in equity stock markets. Expert Systems with Applications, 163, 1-12. DOI: https://doi.org/10.1016/j.eswa.2020.113761
Do, B. y Faff, R. (2010). Does simple pairs trading still work? Financial Analysts Journal, CFA Institute, 66(4), 83-95. DOI: https://doi.org/10.2469/faj.v66.n4.1
Goncu, A. y Akildirim, E. (2016). A stochastic model for commoditiy pairs trading. Quantitative Finance, 16(12), 1843-1857. DOI: https://doi.org/10.1080/14697688.2016.1211793
Haress, E. M. y Yaozhong, H. (2021). Estimation of all parameters in the fractional Ornstein-Uhlenbeck model under discrete observations. Statistical inference for stochastic processes, 24, 327-351. DOI: https://doi.org/10.1007/s11203-020-09235-z
Huang, C. Y. (2018). Financial trading as a game: A deep reinforcement learning approach. arXiv preprint arXiv, 1807(02787), 1-15.
Konlack, V. y Wilcox, D. (2014). A comparison of generalized hyperbolic distribution models for equity returns. Journal of applied mathematics (15). DOI: https://doi.org/10.1155/2014/263465
Kowalik, P., Kjellevold, A. y Gropen, S. (2019). A deep reinforcement learning approach for stock trading [Tesis de maestría]. Norwegian University of Science y Technology.
Krauss, C. (2015). Statistical arbitrage pairs trading strategies: Review and outlook. En Working Paper 09. Institut für Wirtschaftspolitik und Quantitative Wirtschaftsforschung.
Leung, T. y Xin, L. (2016). Optimal mean reversion: Mathematical analysis and practical applications. World Scientific. DOI: https://doi.org/10.1142/9839
Liang, Z., Chen, H., Zhu, J., Jiang K. y Li, Y. (2018). Adversarial deep reinforcement learning in portfolio management. En arXiv.
Madan, D., Carr, P. y Chang, E. (1999). The Variance Gamma process and option pricing. European Finance Review, 2(1), 79-105. DOI: https://doi.org/10.1023/A:1009703431535
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A., Veness, J., Bellemare, M. […] Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529-533. DOI: https://doi.org/10.1038/nature14236
Mnih, V., Puigdome`nech, A., Mirza, M., Graves, A., Lillicrap, T., Harley, T., Silver, D. y Kavukcuoglu, K. (2016). Asynchronous Methods for Deep Reinforcement Learning. CoRR. arXiv, 1602(01783). http://arxiv.org/abs/1602. 01783
Plaat, A. (2022). Deep reinforcement learning. Springer. DOI: https://doi.org/10.1007/978-981-19-0638-1
Schulman, J., Wolski, F., Dhariwal, P., Radford, A. y Klimov, O. (2017). “Proximal Policy Optimization Algorithms”. CoRR abs, 1707(06347). http://arxiv.org/abs/1707.06347
Schwartz, E. (1997). Stochastic behavior of commodity prices: Implications for valuation and hedging. Journal of Finance, 52(2), 923-973. DOI: https://doi.org/10.1111/j.1540-6261.1997.tb02721.x
Stock, J. y Watson, M. (1988). Testing for common trends. Journal of american Statistical Association, 83(404), 1097-1107. DOI: https://doi.org/10.1080/01621459.1988.10478707
Sun, S., Wang, R. y An, B. (2021). Reinforcement learning for quantitative trading. arXiv ePrint.
Vidyamurthi, G. (2004). Pairs trading: Quantitative methods and analysis. Wiley Finance.
Yang, H., Liu, X., Zhong, S. y Walid, A. (2020). Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy. SSRN. 10.2139/ssrn.3690996. DOI: https://doi.org/10.2139/ssrn.3690996
Zeng, Z. y Lee, C. C. (2014). Pairs trading: optimal threshold and profitability. Quantitative Finance, 14(11), 1881-1893. DOI: https://doi.org/10.1080/14697688.2014.917806
Citado por
