10.18601/17941113.n17.04

Dinámica de portafolios y control óptimo estocástico

Portfolio dynamics and stochastic optimal control

John F. Moreno T.^*

^* Magíster en Matemática Aplicada. Universidad Externado de Colombia. Bogotá, Colombia. [jhon.moreno@uexternado.edu.co] [ORCID: 0000-0002-2772-6931].

Artículo recibido el 15 de octubre de 2019.
Aceptado el 13 de noviembre de 2019.

Para citar este artículo:
Moreno Trujillo, J. F. (2019). Dinámica de portafolios y control óptimo estocástico. ODEON, 17, pp. 89-106. DOI: https://doi.org/10.18601/17941113.n17.04

Resumen

Se presenta una introducción a la teoría de control óptimo estocástico y sus aplicaciones en el marco del problema de selección óptima de portafolios.

Palabras clave: optimización de portafolios; control óptimo estocástico; ecuación de Hamilton-Jacobi-Bellman.

Clasificación JEL: C02, C22, C61.

Abstract

An introduction to the stochastic optimal control theory and its applications is presented within the framework of the optimal portfolio selection problem.

Key words: portfolio optimización; stochastic optimal control; Hamilton-Jacobi-Bellman equation.

JEL classification: C02, C22, C61.

Introducción

En este documento se presenta un modelo para describir la dinámica de un portafolio autofinanciado conformado por diversos activos en tiempo continuo, junto con una introducción a la aplicación de la teoría de control óptimo estocástico para tratar el problema de su conformación.

Partimos de considerar un mercado financiero conformado por múltiples activos (riesgosos y no riesgosos). El intervalo de tiempo en consideración es [0,T], aunque la teoría se puede extender a [0, ∞). Este intervalo será dividido en periodos de longitud Δt y se asumirá que las negociaciones solo pueden tener lugar en los puntos del tiempo de la forma nΔt, con n = 0,1, 2,… Se denomina como periodo t al intervalo [t, t + Δt) donde t = nΔt para algún n, mientras que al momento de tiempo t lo denominamos instante t.

Se denotará como:

• N : número total de activos en el mercado.
• hⁱ_t : número de unidades del activo i que se poseen en el periodo t.
• h_t = (h¹_t,h²_t,…, h^N_t ): es el portafolio que se posee en el periodo t.
• c_t : es el monto de dinero destinado para consumir en el periodo t.
• Sⁱ_t : es el precio de una unidad del activo i durante el periodo t.
• V_t : es el valor del portafolio h en el periodo t.

Con la notación anterior se tiene que:

• En el instante t, es decir, al inicio del periodo t, el agente trae consigo un portafolio viejo, h_t-Δt, del periodo anterior t - Δt. En t = 0 se asume que todos los agentes están dotados de un portafolio inicial.
• En el instante t es posible observar el vector de precios S_t = (S¹_t,S²_t,…, S^N_t) por parte de todos los agentes.
• En el instante t, después de haber observado S_t, se selecciona un portafolio nuevo h_t que se mantendrá durante el periodo t. En este mismo instante se define una tasa de consumo c_t para el periodo t, y se asume que estas dos cantidades se mantienen constantes durante el periodo t.

Solo serán considerados portafolios y consumos autofinanciados, es decir, portafolios que no tienen entradas o salidas exógenas de capital distintas a las destinadas para consumo (el término c). Esto implica que los portafolios nuevos deben permitir el consumo, pero deben ser financiados solamente mediante cambios en las posiciones en los activos disponibles.

Para concretar la condición de autofinancimiento consideramos V_t, que denota la riqueza del agente al inicio del periodo t, y que está determinada por el valor en este instante del portafolio viejo del periodo t - Δt, es decir:

lo que implica que el valor de la riqueza del agente en el instante t es el resultado de vender su portafolio viejo a los precios observados en este instante.

En este mismo momento se procede a:

1. Reinvertir en un nuevo portafolio h_t.
2. Seleccionar y consumir a un tasa c_t durante el periodo t.

El costo de este nuevo portafolio h_t está determinado por

mientras que el costo de consumir a un tasa c_t es c_tΔt. De esta forma, la condición de autofinanciamiento es:

Denotando como ΔX_t = X_t - X_t-Δt, para cualquier proceso X, se tiene que:

h_t-Δt • S_t ⁼ h_t • S_t +c_tΔt

h_t• S_t - h_t-Δt • S_t + c_tΔt = 0

(h_t - h_t-Δt) • S_t + c_tΔt = 0

Δh_t • S_t + c_tΔt =0

A fin de tener diferenciales en el sentido de Itô (adelantadas), sumamos y restamos el término S_t-Δt • Δh_t en el lado izquierdo de la última ecuación considerada, con lo cual:

Δh_t • S_t - S_t-Δt • Δh_t + S_t-Δt • Δh_t + c_tΔt = 0

Δh_t • (S_t - S_t-Δt)+ S_t-Δt • Δh_t + c_tΔt = 0

Δh_t • ΔS_t + S_t-Δt • Δh_t + c_tΔt = 0

y considerando que Δt → 0 se tiene que:

Si se considera tambien que Δt → 0 en la ecuación (1) se tiene que:

y tomando el diferencial de Itô,

expresión que describe la dinámica del portafolio. De la ecuación (4) se tiene que:

dh_tdS_t = -S_tdh_t - c_tdt

y al reemplazar en (6) se tiene que:

ecuación que describe la dinámica del portafolio autofinanciado, y muestra que los cambios en su valor (dV_t) están determinados por los cambios en los precios de los activos que lo conforman (dS_t) y el gasto en consumo (c_tdt).

1. Portafolios autofinanciados

A partir de las definiciones presentadas es posible concretar los siguientes conceptos:

• Una estrategia de negociación o portafolio es cualquier proceso {h_t; t > 0}, N-dimensional y adaptado a la filtración .


• El portafolio h se dice markoviano si es de la forma:



h_t = h(t, S_t)

es decir, depende solo del último precio observado.

• El proceso (V_t^h) de valor del portafolio h está determinado por:





• El proceso de consumo {c_t; t> 0} es un proceso estocástico unidimensional adaptado a la filtracion .


• El par portafolio-consumo (h, c) se dice autofinanciado si se cumple



• Para un portafolio h, el correspondiente portafolio relativo u está conformado por:



que es la proporción del capital total invertido en el activo i en el instante t. Desde luego y la condición de autofinanciamiento en términos relativos para el par (h, c) es:

1.1. Dividendos

Se define un proceso {D_t; t ≥ 0}, N-dimensional, donde Dⁱ_t corresponde al valor del dividendo acumulado pagado al poseedor de una unidad del activo i durante el intervalo (0,t]. Se asume que:

para algún proceso delta_t. En este caso, se asume que el activo i paga dividendos continuamente a una tasa δ.

Al considerar dividendos en el analisis de la dinámica del portafolio se tiene que:

• El valor de la riqueza del agente en el instante t está determinado por:
• El valor del portafolio viejo h_t-Δt • S_t
• Los dividendos ganados en el intervalo (t - Δt, t],



• La condición de autofinanciamiento es:

h_t-ΔtS_t + h_t-ΔtΔD_t = h_tS_t + c_tΔt

y al aplicar los mismos argumentos utilizados en el caso sin dividendos se tiene que, cuando Δ_t → 0:



• Al definir el proceso G_t = S_t + D_t, la condición de autofinanciamiento en términos de portafolio relativo es:

2. Selección de portafolios y control óptimo

Para lo que sigue se considera una economía en el intervalo [0,T], de forma que en t = 0 cada agente está dotado de una riqueza inicial x₀ y su problema es: seleccionar la mejor estrategia (h, c) de inversión y consumo sobre [0,T].

Como oportunidades de inversión se tiene:

• Un activo libre de riesgo con valor en t denotado por B_t y que satisface la ecuación diferencial ordinaria dB_t = r_fB_tdt, donde r_f es una tasa de interés sin riesgo constante y conocida.


• Un activo riesgoso con valor en t denotado por S_t y que satisface la ecuación diferencial estocástica dS_t = µS_tdt + σS_tdW_t, donde µ y σ son constantes y W_t es un movimiento Browniano estándar.

Para realizar la inversión, el agente conforma un portafolio tomando posición en los dos activos anteriores, de forma que su portafolio relativo es:

• u⁰_t: en activo libre de riesgo.


• u¹_t : en activo riesgoso.


• c_t : tasa de consumo.

Dado que las estrategias consideradas por el agente deben ser autofinanciadas, su riqueza en el instante t, denotada por X_t, satisface:

o de forma equivalente:

El objetivo del agente es maximizar:

donde F (t, c_t) denota la utilidad por consumos entre 0 y T y Φ(X_T ) denota la utilidad de llegar al instante T con riqueza. De está forma, el problema del agente es:

sujeto a:

En el planteamiento del problema se pueden identificar:

• El proceso X_t, denominado proceso de estado.


• Los procesos u⁰_t ,u¹_t ,c_t, denominados procesos de control, que deben tomar valores dentro de un conjunto admisible U. En general se denotará como u = (u^o_t,u¹_t,c_t) ∈U.


• La función:



denominada función de valor, y que hace las veces de función objetivo en el problema de optimización del agente. esta función depende del tiempo t, del valor tomado por el proceso de control x, y del valor tomado por los procesos de control u en el conjunto admisible U.

• Se define la función de valor óptimo,



Al aplicar el principio de programación dinámica, lo que se busca es derivar una ecuación diferencial parcial (EDP) para V(t, x) que permita determinar dicha función. Esta EDP se conoce como ecuación de Hamilton-Jacobi-Bellman.

Se debe anotar que si Φ(X_T) = 0 y F es una función no acotada en c, el problema se degenera y no tiene solución. Para evitar esto consideramos para los procesos de control (u) un dominio D definido como:



y se define τ = min{inf{t > 0|X_t = 0}, T}; el problema se plantea como:

2.1. Ecuación de Hamilton-Jacobi-Bellman

Para la deducción de la ecuación de Hamilton-Jacobi-Bellman (HJB) se asume que:

• Existe un control óptimo û ∈ U.
• La función de valor óptimo V(t, x) ∈ C^1,2 (R).

Procedemos entonces a:

1. Fijar un par (t,x) ∈ [0,T] x R, y un incremento de tiempo dt fijo, tal que t + dt < T.
2. Se define un control aleatorio u* como:



3. Se consideran dos estrategias posibles sobre el intervalo (t, T]:


• Estrategia 1: utilizar el control óptimo û.
• Estrategia 2: utilizar el control u*.

Las utilidades esperadas bajo cada estrategia son:

• Estrategia 1:



• Estrategia 2: para el intervalo [t, t + dt]



y para el intervalo (t + dt, T]



dado que en este intervalo se está siguiendo el control óptimo. En total para esta estrategia:





4. Comparamos las utilidades esperadas de las dos estrategias:



5. Aplicando la formula de Itô sobre V(t + dt, X_t+dt) se tiene¹ :



que en notación integral, considerando el diferencial entre t y t + dt es:



y tomando el valor esperado en (19) con t y x fijos, se tiene:



donde el valor esperado del último término es igual a 0 ya que este es una integral estocástica.

De la ecuación (20) se concluye que:



Al reemplazar (20) en (17) se tiene:



de donde,



Considerando que dt → 0 tenemos que:



La igualdad en esta expresión solo se tiene si el control u es el óptimo û, entonces:



con V (t, x) = Φ(x), esta es la ecuación diferencial parcial de HJB.

Considerando de nuevo el problema del agente se tiene que u⁰_t + u¹_t = 1; luego, si se establece que u¹ = w, entonces 1 - w = u^o, con lo cual la evolución del proceso de riqueza del agente puede describirse como:

dX_t = w_t[µ, - r_f ]X_tdt + [r_f X_t - c_t]dt + w_tσX_tdW_t

y la correspondiente ecuación de HJB es:

En general, la mayor dificultad al enfrentar problemas de control óptimo está en la resolución de la ecuación de HJB; muestra de esto es el limitado número de problemas de este tipo que tiene una solución analítica. Una manera de tratar este problema es proponiendo una forma para la posible función solución de la ecuación, basada en la forma de las funciones de utilidad.

A pesar de lo anterior, es posible establecer una serie de pasos que facilitan la aproximación a la solución de la ecuación.

1. Se establece la ecuación de HJB para V.


2. Considerando un par (t, x) ∈ [0,T] x R fijos, se resuelve el problema de optimización estático:



3. La solución óptima û encontrada depende de t, x, de la función V y sus derivadas parciales:

û = û(t, x; V)

4. Con la función û = û(t, x; V) como candidata para control óptimo, pero parcialmente definida porque no se conoce la función V, se sustituye û en la EDP para obtener:



Consideremos un agente con una función de utilidad por consumos dada por:



y una función de utilidad asociada a la riqueza dada por:



para β > 0 y γ ∈ (0,1). Entonces, el problema del agente puede plantearse como:



y el problema de optimización estático es:



Las condiciones de primer orden asociadas a este problema son:

1. Derivando respecto a c:



2. Derivando respecto a w:



Se propone, entonces, una forma plausible para la función V(t, x) a partir de las funciones de utilidad:



de donde:



luego,





la ecuación de HJB queda expresada como:



al distribuir exponentes, agrupar y factorizar



de donde,



Denotado por:



se tiene,



La última de las ecuaciones anteriores corresponde a una ecuación diferencial ordinaria tipo Bernulli, la cual puede resolverse aplicando la transformación , de donde:



Dado que la ecuación (38) puede escribirse como:



utilizando los resultados de la sustitucion se tiene que,



El factor integrante en esta última ecuación diferencial lineal es:



luego,



Al integrar se tiene que:



donde K es una constante de integración.

Dado que g(t) = f (t)^1/(1-γ), entonces:



y como f (T) = 1, se tiene que , lo que resuelve completamente el problema.

3. Conclusiones

Este documento es una introducción a la teoría de control óptimo estocástico y sus aplicaciones. Busca introducir al lector en los rudimentos básicos necesarios para entender esta teoría en el marco del problema de selección óptima de portafolios.

Notas

¹ Dada una ecuación diferencial estocástica de la forma:
dX_t = µ(t, X_t)dt + σ(t, X_t)dW_t
el operador infinitesimal, operador diferencial, operador de Dynkin, operador de Itô u operador atrasado de Kolmogorov de X_t, para una función h(t, x) ∈ C^1,2 (R), se define como:

Referencias

Björk, T. (2009). Arbitrage theory in continuous time. Oxford: Oxford University Press.

Martínez, F. V. (2008). Riesgos financieros y economicos/financial and economical risks: Productos derivados y decisiones economicas bajo incertidumbre. Bogotá: Cengage Learning Editores.

Mikosch, T. (1998). Elementary stochastic calculus with finance in view. Singapur: World Scientific.

Moreno T., J. F. (2015). Modelos estocásticos en finanzas. Bogotá: Universiad Externado de Colombia.

Oksendal, B. (2013). Stochastic differential equations: an introduction with applications. Berlin: Springer Science & Business Media.

Peng, S. (1993). Backward stochastic differential equations and applications to optimal control. Applied Mathematics and Optimization, 27(2), 125-144.

Shreve, S. (2012). Stochastic calculus for finance 1: The binomial asset pricing model. Berlin: Springer Science & Business Media.

Shreve, S. E. (2004). Stochastic calculus for finance 2: Continuous-time models (Vol. 11). Berlin: Springer Science & Business Media.