Objetivos

Profundizar en la utilidad de las cadenas de Markov, para su uso en los negocios, específicamente el marketing.

Demostrar la importancia de ir a través de ilustraciones numéricas para el cálculo del Valor del Tiempo (LTV) y considerar modelos matemáticos.

Presentar un modelo matemático, las cadenas de Markov, para modelar la relación entre una compañía y uno de sus clientes, así como para calcular su LTV.

Explorar la utilidad de modelar la relación de una compañía con sus clientes ayudar a sus gerentes a optimizar los costos de marketing.

Conocer la teoría de retención y migración de clientes, específicamente en marketing, y los costos que cada una de estas situaciones en marketing.

Interpretar el concepto de Recención (recency en inglés), que se explica en las consecuencias del caso.

DESCRIPCION DEL CASO

El valor del tiempo para un cliente es un importante y útil concepto en el marketing de interacción. Courtheaux (1986) ilustra su utilidad para un gran número de problemas gerenciales – el del valor del tiempo es el más obvio si no el más importante factor para el presupuesto del marketing enfocado a conseguir clientes.También puede ser usado para la asignación de rubros en los medios (correo vs teléfono vs televisión), vehículos (lista A, lista B), y programas (obsequios gratis vs precios especiales), así como para tomar decisiones con respecto a los clientes existentes. Jackson (1996) incluso argumenta que su uso ayuda a las compañías a alcanzar una ventaja competitiva.

Dwyer (1989) ayudó a popularizar el concepto del Valor del Tiempo (LTV por sus siglas en inglés) ilustrando el cálculo del LTV para dos situaciones: la retención de clientes y la migración de clientes.La retención de clientes se refiere a situaciones en las cuales si el cliente no es retenido la primera vez, se considera perdido para siempre. En este tipo de situaciones la falta de respuestas señala el fin de la relación entre la compañía y el cliente. Por otro lado, la migración de clientes se refiere a aquella situación en la que una falta de respuesta no necesariamente significa un fin en las relaciones con los clientes.Dwyer adicionalmente listó varios inconvenientes de la distinción entre retención y migración de clientes.

Recientemente, Berger y Nasr (1998) plantearon la importancia de moverse más allá de las ilustraciones numéricas y la necesidad de considerar modelos matemáticos para LTV.Ellos ofrecieron cinco modelos matemáticos, basados en el esquema de clasificación de retención/migración de clientes propuesto por Dwyer.Mientras Dwyer ilustra el cálculo del LTV usando dos extensivos ejemplos numéricos, Berger y Nasr proveen ecuaciones matemáticas

para el LTV para cinco situaciones: cuatro involucran retención de clientes y uno migración de clientes.

Blattberg y Deighton (1996) también formularon un modelo matemático para el LTV, con el propósito de ayudar a los gerentes a decidir el balance óptimo entre los gastos de consecución de nuevos clientes (inversiones para convencer clientes potenciales) y gastos de retención de clientes (inversiones para convencer a los actuales clientes de permanecer en la compañía). Mientras los modelos de Berger y Nasr aplican sólo a clientes (personas y empresas que ya hayan tenido contacto con la compañía), los modelos de Blattberg y Deighton aplica específicamente a los clientes potenciales (personas y empresas que no hayan tenido contacto antes con la compañía). Debido a que el modelo de Blattberg y Deighton usa un horizonte infinito, sus ecuaciones resultantes para el LTV son mucho más simples y fáciles de evaluar, y no involucra ninguna de los operadores de sumatoria con los que el modelo de horizonte finito de Berger y Nasr cuentan.

Este trabajo se construye directamente sobre el trabajo de Berger y Nasr (1998) y Blattberg y Deighton (1996) y presenta un tipo general de modelos matemáticos, Cadenas de Markov, que son muy apropiados para modelar las relaciones con los clientes y calcular el LTV. La mayor ventaja del modelo de Cadenas de Markov (MCM) es su flexibilidad. Casi todas las situaciones anteriormente modeladas son tratables por el modelo de cadenas de markov. El MCM puede manejar las situaciones de retención y migración de clientes, puede aplicarse tanto a clientes actuales como potenciales. Adicionalmente, la flexibilidad inherente al MCM significa que este puede ser usado en muchas otras situaciones no cubiertas en anteriores modelos. Los Modelos de Cadenas de Markov han sido usados exitosamente en muchas áreas incluyendo marketing (Bronnenberg 1998 es un ejemplo reciente). Un principal propósito de este trabajo es explorar la utilidad del MCM para modelar la relación entre un solo individuo y una compañía de marketing.

Adicional a su flexibilidad, el MCM ofrece otras ventajas. Debido a que es un modelo probabilístico, él cuenta explícitamente para la incertidumbre que rodea la relación con un cliente. Se usa un lenguaje de probabilidad y valor esperado –lenguaje que le permite a uno hablar sobre el futuro de las relaciones entre la compañía y un solo

cliente. Se sugiere que el lenguaje en la compañía de marketing cambie. En lugar de hablar de un grupo de clientes, se hablará de Juan Pérez. En lugar de hablar de tasas de retención, se hablará de la probabilidad de que Juan Pérez sea retenido como cliente. En lugar de hablar sobre ganancias promedios debido a un segmento de clientes, se hable sobre la ganancia esperada de las relaciones con Juan Pérez. Debido a que el MCM incorpora su lenguaje de probabilidad y valor esperado, es ideal para facilitar el verdadero marketing uno-a-uno.

Otra ventaja del MCM es que está soportado una muy bien desarrollada teoría sobre cómo estos modelos pueden ser usados para tomar decisiones. Se presentará la teoría que rodea los procesos de decisión markovianos, e ilustra cómo esta teoría puede ayudar a los encargados del marketing a optimizar sus relaciones con los clientes individualmente.El MCM también trabajo mucho más amigablemente con la Frecuencia, la recensión (reacción del cliente ante la publicidad y el Valor Monetario Real (RFM por sus siglas en inglés), usados por los especialistas en marketing para categorizar a los clientes y manejar las relaciones con ellos. Ilustraremos la relación entre el MCM y el RFM.

Este trabajo está organizado como sigue. Después de esta introducción, presentamos los fundamentos del MCM, y se ilustrará el uso del MCM para una variedad de supuestos en las relaciones con los clientes. Una sección final ilustrará el uso del MCM y los procesos de decisión markovianos para ayudar a la compañía a optimizar sus relaciones con los clientes.

Datos de Entrada, supuestos,Pruebas estadísticas y

Resultados

Primero que todo, ilustraremos los fundamentos del Modelo de Cadenas de Markov (MCM). Consideremos la siguiente situación: un especialista en marketing de la compañía ABC, está tratando de conseguir a Juan Pérez como cliente. Si tiene éxito, el ABC espera recibir NC en contribución neta para la compañía por la compra inicial y las siguientes de Juan. Las compras son hechas en su mayoría una vez al final de cada período. Consistente con el modelo de migración de clientes de Dwyer y de Berger y Nasr, es posible que Juan vaya varios períodos entre las compras. Los períodos son iguales en duración, y la compañía usa una tasa de descuento d por período.

Por cada período que Juan es considerado un cliente activo, ABC no escatimará en esfuerzos por “recapturar” a Juan. M representa el valor presente de los gastos de recaptura. Además la compañía cree que la probabilidad de que Juan comprará al final de cada período es una función solo de la recención –reacción a la publicidad- de Juan el número de períodos desde la última compra de Juan. (si Juan compra al final de cada período, tiene una recención de 1 por el periodo actual.) La probabilidad de que Juan comprará al final de cualquier período es pr, donde r es la recención de Juan. Para propósitos de ilustración, se asume que cuando Juan alcance r = 5, la compañía disminuirá sus esfuerzos por recapturar a Juan.

Así, hay 5 posibles estados en la relación entre la compañía y Juan Pérez al final de cualquier período, correspondientes a recenciones de 1 a 4. Este último estado corresponde al estado, “no cliente” o “antiguo cliente”, el cual corresponde a r = 5. Una pista adicional de la relación entre la compañía y Juan es que los futuros prospectos para esa relación son función sólo del estado actual de la relación (definida por la recención de Juan) y no en función del camino particular que Juan tomó para alcanzar su actual estado. Esta propiedad es llamada

la propiedad de Markov. La propiedad de Markov es una condición necesaria para que un sistema estocástico sea Cadena de Markov. Esta es una propiedad de los modelos de Berger y Nasr, de Dwyer y de Blattberg y Deighton. Debido a que todo estos modelos exhiben la propiedad de Markov, con probabilidades constantes, todos ellos pueden representarse como Cadenas de Markov. La figura 1 es una representación gráfica del MCM para las relaciones entre la compañía y Juan Pérez.

Las probabilidades de pasar de un estado a otro en un mismo período son llamadas probabilidades de transición. Para Juan Pérez, la siguiente matriz 5 x 5 resume las probabilidades de transición mostradas en la Figura 1. La última fila refleja el supuesto de que si Juan es en recensión 5 en cualquier en periodo futuro, él permanecerá en ese estado para siempre. En lenguaje de Cadenas de Markov, r = 5 o “antiguo cliente” es un estado absorbente. Una vez Juan entre a este estado, se quedará allí.

P1 1 – p 0 0 0P2 0 1- p2 0 0

P = P3 0 0 1 – p3 0P4 0 0 0 1 – p4

0 0 0 0 0

La matriz P es una matriz de transición. La t-ésima matriz de transición está definida para ser la matriz de probabilidades de moverse de un estado a otro en exactamente t periodos. Así el elemento (i,j) de la matriz Pt (multiplicando P por sí misma t veces) es la probabilidad de que Juan estará en la recensión j al final del periodo t dado que él empezó en la recensión i. En esencia, Pt es una manera ordenada de resumir y calcular la probabilidad de la recensión de Juan Pérez en un tiempo futuro sea t.

Ahora que tenemos una probabilidad para el futuro de la relación entre la compañía ABC y Juan Pérez, vamos a la evaluación económica de esa relación. El flujo de efectivo recibido por la compañía en cualquier periodo futuro será una función de la recensión de Juan Pérez. R, una 5 x 1 columnas vector, resume este flujo de efectivo:

NC-M R = -M

-M-M 0

Si al final de cualquier periodo futuro t Juan Pérez hace una compra y luego pasa a r = 1 para el próximo periodo, la firma recibe NC en el momento t y está comprometido a recapturar a Juan durante el periodo siguiente. Recordando que M representa el valor presente de esa recapturación, el total de ganancias para la compañía en el momento t si Juan se mueve a r = 1 es NC – M. Si Juan no hace ninguna compra y pasa a recensiones 2, 3 o 4, las ganancias de la firma serán –M , reflejando la decisión de continuar recapturando a Juan durante el periodo entrante. Sin embargo, si Juan se mueve a r = 5, la compañía ha decidido cortar la relación. La correspondiente ganancia es cero.

Si la ABC compañía decide evaluar su relación con Juan Pérez usando un horizonte de longitud T, la decisión es combinar la probabilidad de predicción reflejada en Pt con la estructura de ganancias reflejada en R. Si la compañía es neutral en el riesgo, estará dispuesta a tomar decisiones basadas en el valor presente esperado neto. Si eso sucede, la única decisión que queda es tomar Pt , R, T, y d y desarrollar una expresión para el valor presente esperado de la relación entre la compañía y Juan Pérez. La teoría de los procesos de decisión markovianos provee el mecanismo para hacerlo:

T Vt = S (1 + d)-1 P]t R (1) t = 0

donde Vt es la matriz 5 x 1 columna vector del valor presente expresado en T periodos. Los elementos de Vt corresponden a los 5 posibles estados iniciales de la relación con Juan. El elemento más alto de Vt corresponde a r = 1 (una relación con Juan que empieza con

una compra en t = 0), será de particular interés. Este es el valor presente esperado del flujo de efectivo de la relación propuesta con Juan Pérez. Esto es, en otras palabras, el esperado LTV para Juan Pérez. Nótece que este valor se cuenta para NC de la compra inicial en t = 0 así como arrastrar gastos de M en el momento T si Juan es un cliente activo en T.

En lugar de seleccionar algún finito horizonte T sobre el cual se evalúa la relación con Juan, la compañía puede decidir seleccionar un horizonte infinito. (Debido al flujo de efectivo esperado de la relación con un cliente usualmente se vuelve un poco pequeño en grandes valores de t, las diferencias numérica entre seleccionar un largo pero finito horizonte e infinito horizonte son usualmente insignificante. El horizonte infinito tiene la ventaja de ser fácilmente computable).Para un horizonte infinito, se puede mostrar que:

V = lim Vt

T (2) = I – (1 + d)-1 P} –1 R

donde I es la matriz identidad.

Vamos a ilustrar el uso de (1) y (2) usando un ejemplo numérico. Suponga que para Juan Pérez, d = 0.2, NC = $40, y M = $4. El valor numérico para R es:

$ 36 $(4) R = $(4) $(4) $ 0

Suponga además que p1 = 0.3, p2 = 0.2, p3 = 0.15 y p3 = 0.05. Los pasos uno, dos, tres y cuatro de la matriz de transición son:

0.3 0.7 0 0 0 0.2 0 0.8 0 0

P = 0.15 0 0 0.85 0 0.05 0 0 0 0.95 0 0 0 0 1

0.2300 0.2100 0.5600 0 0 0.1800 0.1400 0 0.6800 0 P2 = 0.0875 0.1050 0 0 0.8075 0.0150 0.0350 0 0 0.9500 0 0 0 0 1

0.1950 0.1610 0.1680 0.4760 0 0.1160 0.1260 0.1120 0 0.6460 P3 = 0.0473 0.0613 0.0840 0 0.8075 0.0155 0.0105 0.0280 0 0.9500 0 0 0 0 1

0.1397 0.1365 0.1288 0.1428 0.4522 0.0768 0.0812 0.1008 0.0952 0.6460 P4 = 0.0390 0.0331 0.0490 0.0714 0.8075 0.0098 0.0081 0.0084 0.0238 0.9500 0 0 0 0 1

La primera fila de P4 nos dice que si la compañía inicia exitosamente una relación con Juan Pérez en el momento t = 0, hay un 0.1397 de probabilidad de que Juan hará una comprará en el momento t = 4, un 0.1365 de probabilidad de que Juan alcance una recensión 2 en t = 4,...., y un 0.4522 de probabilidad de que la compañía cortará la relación con Juan al final del periodo 4 porque él no hizo ninguna compra en ninguno de los cuatro periodos anteriores.

Sustituyendo estas transiciones, R como se da arriba, y d = 0.2 en (1) da:

$50.115 $ 4.220 V4 = $0.592 $(1.980) $0

Lo cual representa el valor presente esperado de que la relación con Juan Pérez, supere un cuarto periodo. El LTV esperado para la relación propuesta con Juan Pérez es $50.11. Este valor consiste en $40 de la compra inicial y $10.11 del valor presente esperado para el futuro flujo de efectivo.Cuando Juan alcance recensión 2, su LTV como cliente disminuirá a $4.22. Note que $4.22 es el valor presente esperado ahora de una relación con Juan Perez que comenzó con un Juan teniendo transición a recensión 2. (este es un Juan Perez que hizo una compra el periodo anterior pero que este periodo falló). Similarmente, si Juan hace la transición a recensión 3, la relación entre la compañía y Juan tiene un valor presente esperado de $0.59, mientras que si Juan hace la transición a recensión 4, el valor presente esperado es un negativo $1.98.Este valor negativo para una recensión de 4 significa que la compañía ABC pierde dinero en sus esfuerzos de recapturar a Juan en una recensión de 4. ¿Puede ser esto porque en nuestro análisis se usó en tiempo relativamente corto de T = 4?

Una simple inversión de la matriz 5 x 5 requerida de (2) nos permite calcular V, el valor presente esperado de la relación con Juan para un horizonte infinito:

$52.320$5.554

V = $1.251$(1.820)$ 0

Las diferencias en los resultados reflejan el valor presente esperado de flujo de efectivo después de t = 4. Usando un horizonte infinito, el LTV esperado para Juan Perez aumentó a $52.32.

Mientras todos los valores presentes esperados han mejorado bajo un horizonte más amplio, el valor presente esperado sigue siendo

negativo en la recensión 4. Dada la economía y los supuestos probabilísticos del modelo, la compañía haría mejor en cortar su relación con Juan en la recensión 4 en lugar de la recensión 5.

Es una simple cuestión de modificar el modelo de decisión de Markov para evaluar este cambio en la política. Una manera sería reformular el modelo usando cuatro en lugar de cinco estados. Una manera más corta es modificar el existente modelo de cinco estados poniendo p4 igual a cero y el cuarto elemento de R también cero. Estos dos cambios reflejan que bajo las nuevas políticas, ningún dinero será gastado en una recensión 4 y Juan automáticamente pasará a recensión 5. Haciendo estos cambios y recalculando, V da:

$53.149$6.621

V = $2.644$0$0

Como se esperaba, bajo las nuevas políticas el valor presente esperado para una recensión 4 de Juan es cero. Es también evidente debido a que la nueva política trata más efectivamente con Juan Perez cuando él alcanza recensión 4, el cambio mejora el valor de la entera relación. El nuevo LTV esperado para la relación con Juan Perez es $53.15. La política mejorada ha adicionado $0.83 al LTV esperado.

Este simple ejemplo ilustra la noción de que la compañía puede usar MCMs no solamente para evaluar las relaciones con el cliente propuesta, si no también ayuda a manejar y mejorar estas relaciones.

MCM asiste no solo con posibles decisiones (deberíamos intentar iniciar una relación con Juan Perez) sino con decisiones tomadas. Finalmente, note que cualquier mejora a la relación con el cliente es inmediatamente incorporada al cálculo del LTV a través de MCM.

La relación potencial entre la compañía ABC y Juan Perez fue nuestro primer ejemplo de una relación con los clientes fácilmente trabajada

por el modelo de cadenas de Markov. La relación con Juan Perez puede ser categorizada como una situación de migración de clientes con posibilidades de compra dependiendo de la recensión (reacción del cliente a la publicidad). Este es un caso de 5 situaciones, como lo definieron Berger y Nasr.

Ahora supongamos que, en adición a las probabilidades de compra, los gastos netos de recapturación también dependen de la recensión. En otras palabras, suponga que la cantidad de gastos de la compañía en recapturación se ajusta dependiendo de la recensión. Adicionalmente, suponga que la contribución neta esperada de las compras de Juan Perez es pensada dependiendo del estado de recensión en el que la compra sea hecha. Probabilidades de compra, contribuciones netas, y gastos de recapturación variables con la recensión, son características de la situación considerada por Dwyer en su ejemplo de migración de clientes.

Para modelar esta situación usando MCM requerirá una extensión de los estados. Con el fin de contar las contribuciones netas que dependen de la recensión de Juan en el momento de la compra, necesitaremos dividir el estado de recensión 1 dentro de 4 nuevos estados. Estos cuatro nuevos estados serán llamados 11, 12, 13, 14,

correspondiendo a la compra de Juan Perez al final de un periodo en el cual él estaba en recensión 1, 2, 3 y 4. La matriz de transición y vector de ganancias para este migración de clientes más complicada son dadas abajo:

Estado P R1,1 p1,1 0 0 0 1-p1,1 0 0 0 NC1,1-M1,11,2 p1,2 0 0 0 1-p1,2 0 0 0 NC1,2-M1,21,3 p1,3 0 0 0 1-p1,3 0 0 0 NC1,3-M1,31,4 p1.4 0 0 0 1-p1,4 0 0 0 NC1,4-M1,42 0 p2 0 0 0 1-

p20 0 .-M2

3 0 0 p3 0 0 0 1-p3

0 .-M3

4 0 0 0 p4 0 0 0 1-p4 .-M45 0 0 0 0 0 0 0 1 0

Por ejemplo, note que si Juan Perez compra en la recensión 2, él se moverá del estado 12, donde la compañía recibe NC12 in contribución neta y gastó M12 para recapturar. Compras en recensión 3, sin

embargo, mandará a Juan al estado 13, donde la compañía recibe NC13

y gasta M13. Justo como contribución neta y gastos de recaptura dependen de la recensión en la cual Juan compró, así sus probabilidades de compra subsiguiente son p11, p12, p13, y p14. Dividiendo el estado original de recensión 1 en 4 subestados nos ha permitido aplicar el MCM a una situación donde las cantidades de compra, gastos de marketing, y probabilidades de compra, dependen de la recensión del cliente en el tiempo de compra.

Hasta ahora hemos considerado solo situaciones de migración de clientes. El MCM puede también ser usado para situaciones de retención de clientes. La más simple de este tipo de situaciones es donde en la que el cliente tiene una probabilidad constante p de responder cada periodo, y cualquier no respuesta señala el final de la relación con el cliente. El MCM para esta situación requiere solo dos estados: cliente y antiguo cliente. La P y R matrices son dadas a continuación:

Estado P R

Cliente p 1-p NC - MNo Cliente 0 1 0

Este es un modelo muy simple –tan simple que las ventajas del MCM son insignificantes. Berger y Nasr consideran más simple que el caso 1 de situación de migración de clientes.

Conclusiones del Trabajo

Este trabajo presenta un tipo de modelos matemáticos generales, las cadenas de Markov, apropiados para modelar las relaciones con los clientes y calcular el Valor del Tiempo (LTV) que una empresa le dedica a sus clientes.

La flexibilidad de las cadenas de Markov fue demostrada mostrando cómo puede manejar una amplia variedad de situaciones con los clientes. El MCM es particularmente útil en modelar situaciones complicadas de relaciones con los clientes para los cuales la soluciones algebraicas no son suficientes.

Otra ventaja del MCM es que es un modelo probabilítico, que incorpora el lenguaje de probabilidad y valor esperado, lenguaje que ayudará a los especialistas en marketing hablar sobre relaciones con clientes individuales y no con todo el grupo de ellos.

El MCM es apoyado por una teoría muy bien desarrollada sobre cómo estos modelos pueden ser usados en decisiones de marketing. El uso de esta teoría ha sido demostrado por un comprensible ejemplo en el que una compañía ha ajustado su política de contacto incrementando sus gastos de correo, dependiendo de la relación con un cliente específico.

Conclusiones Generales

La investigación de casos de cadenas de Markov da una idea general de la gran utilidad que tiene este modelo en una amplia gama de asignaturas, como los negocios, las comunicaciones y genética, entre otros.

Las cadenas de Markov en el marketing son muy útiles para conocer las probabilidades de que un cliente tenga determinado comportamiento.

Gracias a un modelo matemática como el MCM, que es relativamente sencillo, se pueden ajustar políticas y decisiones que ayudarán a los gerentes a llevar a sus compañías por el camino de la optimización.

Este trabajo sirvió para aumentar el interés en las cadenas de Markov y en profundizar en ellas para la aplicación en los negocios y en las empresas en general.

Conocimientos adicionales

Para la comprensión de este trabajo, se hace necesario tener conceptos claros en: álgebra Cadenas de Markov Procesos estocásticos Marketing y publicidad

Nota: en todo el trabajo se hace alusión a la palabra “recención” adaptada del inglés recency y que no tiene equivalente en español. La teoría de recency es utilizada mucho en marketing y publicidad, y se refiere la reacción del cliente ante una determinada publicidad. Esta reacción es más efectiva la primera vez y una hora antes de la intención de compra (por ejemplo publicidad de un restaurante antes de la hora de comida), y va disminuyendo a medida que pasa el tiempo de exposición del cliente a la publicidad. Es decir que el cliente se “acostumbra” al anuncio y ya pierde su efecto.

Bibliografía

La biografía utilizada para llevar a cabo el trabajo se encuentra en el archivo original en pdf.