X CONGRESO INTERNACIONAL DE INGENIERIA DE PROYECTOS

VALENCIA, 13-15 Septiembre, 2006

ESTUDIO DE LAS RELACIONES DE LOS INDICADORES DE UN MAPA ESTRATEGICO DEL BALANCED SCORECARD APLICANDO

REDES NEURONALES EN UN HOSPITAL ESPAÑOL.

J. Pastor Tejedor(p), L. Navarro Elola y A. C. Pastor Tejedor

Abstract This article analyses the effect of temporality on the strategy map of a hospital by the use of neural networks. An attempt is made to temporally align all strategy objectives in order to test how temporality affects relationships between the indicators. The strategy map was prepared using a new method based on the European Quality Model (EFQM) and the BSC (Balanced Scorecard). Using the case of a hospital, and being based on the premise that the customer is the principal objective, this article demonstrates (by the application of artificial neural networks) that the two perspectives of finance and learning and growth show a temporality of three and six months respectively in relation to prospective customers - as proposed by Kaplan and Norton (2002). In addition, the article considers whether the relationship between the financial perspective and the customer perspective is direct, or if other relationships exist between the financial perspective and internal processes or training and growth; this is possible because ANN’s allow for the simultaneous inclusion of the interrelationships of all the indicators on introducing the deduced temporality into the strategy map. The effect of the existence of internal relationships between indicators of the same perspective is also analysed.

Keywords: Balanced Scorecard, Business excellent and Neuronal Network.

Resumen En este articulo, se analiza las relaciones entre indicadores y como afecta la temporalidad al mapa estratégico de un hospital, utilizando la redes neuronales, es decir, trataremos de alinear temporalmente todos los objetivos estratégicos, para a continuación comprobar como afecta dicha temporalidad a las relaciones entre los indicadores. Para la elaboración del mapa estratégico se aplicó un nuevo método basado en la integración del Modelo Europeo de la Calidad (EFQM) y el BSC (balanced scorecard). En el caso de un hospital y partiendo de la premisa que el cliente es nuestro principal objetivo, se demostrará aplicando las redes neuronales artificiales, que los bloques financiero, y de aprendizaje y crecimiento, presentan una temporalidad a tres y seis meses respectivamente con respecto a la perspectiva clientes, como proponen Kaplan y Norton (2002). Así mismo, gracias a que las RNA permiten incluir la interrelación de todas las variables simultáneamente entre si y obtener el grado de relación entre indicadores, al introducir la temporalidad deducida dentro del mapa estratégico, se comprobará si la relación existente entre el bloque financiero y el de clientes, es una relación directa o existen otras relaciones, entre la perspectiva financiera, y la procesos internos o aprendizaje y crecimiento. También se analizarán como afecta la existencia de relaciones internas entre indicadores de una misma perspectiva.

Palabras clave: balanced scorecard, Modelos de Excelencia, Redes Neuronales

2150

1. Introducción El Modelo de Excelencia Europeo EFQM, como herramienta de gestión, presenta claras ventajas, como proveer a la organización de una batería de indicadores muy completa que facilitaba la evaluación externa de la misma y la mejora continua impulsada por actuaciones de benchmarking etc. Sin embargo se constataron ciertas deficiencias en el modelo que eran susceptibles de mejorarse.

El Balanced Scorecard, cubre perfectamente las deficiencias descubiertas en el modelo EFQM:

El modelo EFQM se centra en la calidad y la mejora de los procesos locales y no une las mejoras operacionales con los resultados esperados en las perspectivas financieras o de cliente. El BSC exige que estos enlaces se hagan explícitos.

Utiliza una extensa batería de indicadores comunes para todo tipo de organizaciones, dificultando la obtención de mediciones eficientes, el control de la organización y la correcta asignación de recursos. El BSC logra establecer una batería de indicadores coherente con la estrategia de la organización permitiendo alinear todos los recursos hacia la consecución de la estrategia.

Apenas se investiga la relación causa-efecto entre indicadores. Se utilizan indicadores que miden causas → agentes y otros que miden efectos → resultados, pero su diseño no facilita el estudio de dicha relación. Sin embargo el BSC si que analiza los indicadores con la existencia de esta relación causa-efecto.

Evalúa la calidad desde un punto de vista general, mientras que el BSC lo hace desde el punto de vista de la implantación y la gestión de su estrategia.

El BSC, potencia algunas de las ventajas del mismo, logrando por ejemplo seleccionar de la batería inicial propuesta por el modelo EFQM aquellos indicadores que se alineen con la estrategia de la organización, facilitando la consecución de la misma, por lo que la elaboración de un nuevo modelo que integrase a ambos generaría una novedosa herramienta que lograría una mejora sustancial en los actuales modos de gestión del sector sanitario, pudiendo ser posteriormente implementada en organizaciones pertenecientes a otros sectores de actividad. Los promotores de este modelo de gestión son Kaplan y Norton, con muchas publicaciones relativas al tema desde 1992 hasta la actualidad. A partir de entonces numerosos autores han alabado el modelo considerando las siguientes ventajas:

Alineación de los empleados con la visión de la empresa. Bourne, M. (2000)

Comunicación a todo el personal de los objetivos y su cumplimiento. Turner, G.(1999)

Redefinición de la estrategia en base a resultados. Chapel Hill, N.C.(2001)

Traducción de la visión y estrategias en acción. Banker,R. (2001)

Favorece en el presente la creación de valor futuro. Gnadellis, T. (2001)

Integración de información de diversas áreas de negocio. Huntington, J. (1998) y Frigo,M. (2002)

Capacidad de análisis. Bernhard, F. (2005)

Mejoría en los indicadores financieros. Meyer, M. (2002) y Smullen, J. (1997)

Desarrollo laboral de los promotores del proyecto. Chen, I. y Wilson, M. (2001)

Herramienta expres para consguir la excelencia. Olve,N. (2002).

2151

En la tabla 1 se muestra la elevada complementariedad del EFQM y el BSC, y se justifica la integración de ambos en una única herramienta de gestión estratégica que, de este modo, se beneficie de las virtudes y compense las deficiencias que los dos modelos presentan por separado.

BSC EFQM

Orígenes Medida de la actuación

empresarial, creación de valor.

Gestión de la Calidad Total.

Objetivos y beneficios esperados

Mejora de la actuación empresarial.

Traducir la estrategia de una empresa en términos fijados, operacionales y medibles.

Permitir la Actuación Estratégica.

Mejora de la actuación empresarial.

Identificar las fortalezas y áreas de mejora a través de los procesos de una organización para fomentar las mejores prácticas de gestión.

Permitir la mejor práctica de gestión.

Resultados

Conjunto de objetivos estratégicos lógicamente unidos con los indicadores y objetivos a través de las 4 perspectivas.

Conjunto de iniciativas alineadas con los objetivos estratégicos y medidas.

Una referencia y una evaluación relativa de la calidad de los procesos y resultados de una organización a través de la evaluación / puntuación según los 9 criterios del modelo.

Fortalezas y debilidades relativas al proceso.

Acercamiento del desarrollo

Manejo de la estrategia, basado en talleres, iterativo, manejo de hipótesis, involucración del equipo de dirección, macrovisión y mirando al futuro.

El conjunto de objetivos y medidas son únicos para todas las organizaciones.

Cambio de escala en la actuación.

Manejo de procesos, autoevaluación, recogida de hechos, recogida de datos, basado en puntuación, orientado al detalle y enfocado al presente.

El conjunto de criterios y las áreas de medida son las mismas para todas las organizaciones.

Mejora continua.

Factores de éxito

El equipo de dirección equilibra el respaldo y el compromiso.

El proceso continuo introducido en los procesos de gestión.

El equipo de dirección equilibra el respaldo y el compromiso.

El proceso continuo introducido en la gestión del día a día.

Tabla 1. Complementariedad de EFQM y BSC.

2152

2. Objetivos Desarrollar un modelo integrador teórico aplicable a todo tipo de organizaciones fundamentado en la elevada complementariedad de ambos modelos.

Elaborar un Mapa Estratégico que dotara a las organizaciones de una metodología para encauzar correctamente los procesos de mejora y sistematizar la extracción de conclusiones.

Analizar la temporalidad y las relaciones entre los indicadores del Mapa Estratégico de una organización, mediante la aplicación de las Redes Neuronales Artificiales.

3. Caso de estudio Con el modelo EFQM&BSC propuesto, se pasó a la implantación del mismo en una institución sanitaria real. Se seleccionó al Hospital Universitario Miguel Servet (HUMS) como institución objetivo de implantación del nuevo modelo, desarrollándose un Mapa Estratégico y un Sistema de Indicadores específico, consensuado con los departamentos y dirección del centro sanitario, así como un plan temporal de implantación en el que se establecían los objetivos a conseguir para lograr una rápida implantación del modelo.

Se parte de cuatro grandes bloques de indicadores: financieros, clientes, procesos internos, y aprendizaje y crecimiento. Cada uno de los cuales está dividido en diferentes objetivos estratégicos, que dependen a su vez, de uno o varios indicadores.

La tabla 2 recoge el tipo de datos utilizados. Se contaba con la evolución de estos indicadores a lo largo de 60 meses. Pues el modelo de excelencia EFQM, estaba implantado en el HUMS desde hacia cinco años.

PERSPECTIVA Objetivo Estratégico

INDICADOR

P. FINANCIERA 1. Ingresos 1.a. % de servicios a terceros facturados por el

HUMS. 2. Eficacia de las inversiones 2.a. Ejecución de inversión nueva / reposición.

3. Consumos 3.a. Incremento interanual del gasto farmacéutico. P. CLIENTES 4. Cliente externo 4.a. % de pacientes satisfechos.

5.a. % de empleados satisfechos. 5. Cliente interno 5.b. Número de sugerencias recibidas.

6. Sociedad 6.a. Noticias positivas en prensa. 7. Dpto. de SALUD 7.a. Cumplimiento del contrato SALUD-HUMS. P. PROCESOS INTERNOS

8.a. % de pacientes informados correctamente. 8. Atención al cliente 8.b. Suspensiones asistenciales.

9.a. Tasa de mortalidad. 9.b. Tasa de infección. 9.c. IEMA (Índice de Estancia Media Ajustada).

9. Calidad de procesos clínicos

9.d. IC (Índice de Complejidad). 10. Adecuación Oferta-Demanda 10.a. Estancia de más de 6 horas en Urgencias.

2153

11. Calidad estructuras soporte 11.a. Quejas sobre las actividades soporte.

P. APRENDIZAJE & CRECIMIENTO 12. Implantación del EFQM 12.a. Puntuación del EFQM.

13. Investigación 13.a % del presupuesto destinado a la Investigación. 14.a. Sugerencias resueltas en el mismo trimestre. 14. Docencia y

Formación 14.b. % del presupuesto destinado a la Formación. 15.a. Cumplimiento plan del edificio de Traumatología.

15. Activos físicos

15.b. Quejas sobre infraestructuras o equipamientos.

16. Concienciación social 16.a. Creación del empleo en el HUMS.

17.a. Procesos compartidos con Atención Primaria. 17. Gerencia de sector 17.b. Especialidades con Agenda Compartida.

Tabla 2. Valor de referencia de los 25 indicadores consensuados con el HUMS

El mapa estratégico inicial del HUMS, representado en la Figura 1, fue el consensuado con

los profesionales del hospital. Establece las hipótesis de partida.

2154

1. Ingresos 2. Inversioneseficientes

3. Consumos

4. Cliente Externo

5. Cliente Interno

6. Sociedad

7. Dpto. de SALUD

8.Atención al cliente

9. Calidad de losprocesos clínicos

10. Adecuación deOferta - Demanda 11. Calidad de

las estructuras soporte

12. Implantación del EFQM *

13. Investigación

15. Activos físicos 17. Gerencia

de Sector

16. Concienciación social

CLI

ENTE

S

14. Docencia y Formación

APR

END

IZA

JE &

CR

ECIM

IEN

TO

PRO

CES

OS

INTE

RN

OS

FIN

AN

CIE

RA

Figura 1. Mapa Estratégico del Hospital Universitario Miguel Servet.

2155

3.1. Hipótesis del caso Analizando el mapa estratégico consensuado del HUMS en la fig.1, este refleja supuestas relaciones, comentadas a continuación, que se deseaba comprobar.

• En el HUMS, al tratarse de una entidad pública, la perspectiva financiera no es el fin último de la organización. El fin último, es la satisfacción del cliente y la sociedad en general. Por lo tanto, la perspectiva financiera es únicamente una “perspectiva entrada”, es decir, que todas las flechas de los objetivos estratégicos de dicha perspectiva son salientes.

• La relación de la perspectiva financiera es directa con la perspectiva cliente, llegando a la hipótesis de que está perspectiva (la financiera) se relega a un segundo plano, en nuestro caso, también bajo estudio.

• Otra hipótesis a comprobar será la temporalidad existente entre las diferentes variables del mapa estratégico, es decir, ver en que medida influyen los periodos de tiempo en los indicadores.

• La perspectiva aprendizaje y crecimiento se sitúa en la base del mapa, es únicamente una “perspectiva entrada”, al igual que la perspectiva financiera.

• La perspectiva aprendizaje y crecimiento esta en relación directa con la perspectiva procesos internos, y estos a su vez en relación directa con la perspectiva cliente.

En resumen, se establecen las siguientes hipótesis:

1. La perspectiva financiera es únicamente una “perspectiva input”.

2. La relación de la perspectiva financiera es directa con la perspectiva cliente.

3. La relación de la perspectiva aprendizaje y crecimiento es directa con la perspectiva procesos internos.

4. La relación de la perspectiva procesos internos es directa con la perspectiva cliente.

5. Existe temporalidad entre algunos de los objetivos del mapa estratégico.

6. Existe temporalidad entre algunas de las perspectivas del mapa estratégico.

7. No existe relación entre los indicadores de una misma perspectiva.

4. Metodología de trabajo La herramienta informática utilizada es Neural Network de Matlab. Dado que las RNA permiten la interrelación de todas las variables simultáneamente entre si, se decide contrastar cada uno de los indicadores con el resto, obteniendo así todas las relaciones posibles entre todos los indicadores. Se crea la red de trabajo, la cual, debía ser lineal y única, ya que para poder observar las relaciones existentes entre los indicadores no podíamos tener más de una capa porque se perdían las relaciones directas y tampoco podía no ser lineal, ya que se desvirtuaban las relaciones.

Este proceso se repite con cada uno de los indicadores.

Después de entrenar la red, teniendo en cuenta la temporalidad descubierta entre algunos de los indicadores, se observaron los pesos que tiene cada indicador con respecto el indicador de salida. Contrastando los resultados, se llego al diseño de un nuevo mapa estratégico, que queda reflejado en la figura 2.

2156

Observando este mapa y comparándolo con el inicial fig.1, se puede ver que hay relaciones que cambian, y en general puede decirse que los indicadores financieros son más importantes y tienen más relaciones que las propuestas inicialmente.

1. Ingresos 2. Inversioneseficientes 3. Consumos

4. ClienteExterno

5. ClienteInterno

6. Sociedad

7. Dpto. de SALUD

8.Atención al cliente

9. Calidad de lospro oscesos clínic

10. Adecuación deOferta - Demanda 11. Calidad de

las estructurassoporte

12. Implantacióndel EFQM *

13. Investigación

15. Activos físicos 17. Gerencia

de Sector 16. Concienciación

social

14. Docencia y Formación

FIN

AN

CIE

RA

C

LIEN

TES

PRO

CES

OS

INTE

RN

OS

APR

END

IZA

JE &

CR

ECIM

IEN

TO

Figura 2. Nuevo mapa estratégico

2157

Como resultado de esta comparación entre indicadores, obtuvimos una serie de tablas de

datos numéricos que nos daban la relación entre dichos indicadores. A partir de estos datos,

valoramos cada una de las relaciones en función del valor de la celda unión, y generamos

una matriz coloreada mostrando aquellas relaciones más importantes.

A continuación podemos observar dos matrices coloreadas diferentes, la representada en la

Figura 3, hace referencia a las relaciones existentes en el mapa estratégico original y la

representada en la Figura 4, a las obtenidas con las Redes Neuronales.

IN

OUT 3.

a.

2.a.

1.a.

7.a.

4.a.

5.a.

5.b.

6.a.

8.a.

8.b.

10.a

.

9.a.

9.b.

9.c.

9.d.

11.a

.

17.a

.

17.b

.

13.a

.

15.a

.

15.b

.

14.a

.

14.b

.

16.a

3.a. 2.a. 1.a. 7.a. 4.a. 5.a. 5.b. 6.a. 8.a. 8.b.

10.a. 9.a. 9.b. 9.c. 9.d.

11.a. 17.a. 17.b. 13.a. 15.a. 15.b. 14.a. 14.b. 16.a.

Figura 3. Cuadro de Relaciones Iniciales

2158

3.a.

2.a.

1.a.

7.a.

4.a.

5.a.

5.b.

6.a.

8.a.

8.b.

10.a

.

9.a.

9.b.

9.c.

9.d.

11.a

.

17.a

.

17.b

.

13.a

.

15.a

.

15.b

.

14.a

.

14.b

.

16.a

3.a. 2.a. 1.a. 7.a. 4.a. 5.a. 5.b. 6.a. 8.a. 8.b.

10.a. 9.a. 9.b. 9.c. 9.d.

11.a. 17.a. 17.b. 13.a. 15.a. 15.b. 14.a. 14.b. 16.a.

Figura 4. Cuadro de Relaciones Finales

En la zona denominada 1 se encuentran las relaciones que tienen los indicadores con los de

su mismo bloque y se puede observar como dentro de cada bloque los indicadores se

relacionan entre ellos, no es tan acusado en el bloque de aprendizaje y crecimiento, pero en

los otros tres bloques si se ponen de manifiesto tales relaciones. Así por ejemplo dentro del

bloque financiero existen las siguientes relaciones: una relación bilateral entre gasto

farmacéutico e inversión nueva y una que relaciona los servicios a terceros con la inversión

nueva.

También se ha podido comprobar la existencia de relaciones internas entre indicadores de

un mismo bloque. El bloque con más relaciones internas es el bloque financiero, en el que el

50 % de las relaciones son importantes. Los siguientes bloques con más relaciones internas

son el de procesos internos con casi un 33 % de relaciones importantes y el de cliente con

un 30 %.

2159

No se confirma la hipótesis 7: No existe relación entre los indicadores de una misma

perspectiva.

Las otras dos zonas denominadas 2 y 3 nos muestran que existen también relaciones entre

los bloques financiero y procesos internos (zona 2) y entre financiero y aprendizaje y

crecimiento (zona 3). Esto nos indica que los indicadores del bloque financiero se

encuentran relacionados con el resto de bloques y que dichas relaciones afectan en mayor

medida a los bloques de aprendizaje y crecimiento y procesos internos que al bloque de

cliente.

Y no se confirma la hipótesis 2: La relación de la perspectiva financiera es directa con la

perspectiva cliente.

Esto provoca un cambio determinante en el mapa estratégico del HUMS, pasando a ser la

perspectiva financiera base del mapa y en la cúspide del mismo situamos la perspectiva

cliente, una vez confirmado con la metodología de las redes neuronales parece lógico, sin

embargo, cuando se diseño el primer mapa fig.1, todos los profesionales dieron su

aprobación a que la perspectiva aprendizaje y crecimiento fuera la base del mapa.

Por lo tanto no se confirma la hipótesis 1: La perspectiva financiera es únicamente una

“perspectiva input”.

Debemos hacer una breve reseña a cerca de una zona que no está marcada

numéricamente en la Tabla, que es la columna del indicador edificio de traumatología.

Todos los indicadores dependen del edificio de traumatología y esto se debe, a que en el

momento de realizar el estudio, se mostró por parte del hospital una clara preocupación por

este indicador, ya que el área de traumatología de dicho hospital estaba en remodelación y

muchos procesos se retrasaban debido a las obras.

En la siguiente figura podemos observar el mapa estratégico obtenido tras el proceso.

2160

+ 3

+ 3

4. ClienteExterno

5. ClienteInterno 6. Sociedad7. Dpto. de

SALUD

CLI

ENTE

S

8.Atención al cliente

10. Adecuación deOferta - Demanda

11. Calidad delas estructuras

soporte

PRO

CES

OS

INTE

RN

OS

+ 0+ 0 + 0

13. Investigación

15. Activos físicos 17. Gerencia

de Sector 14. Docencia yFormación

16. Concienciación social

+ 3/ 6+ 3/ 6

APR

END

IZA

JE &

CR

ECIM

IEN

TO

9. Calidad de los procesos clínicos

+ 3/

+ 0/ 3

3. Consumos

FIN

AN

CIE

RA

2. Inversioneseficientes

1. Ingresos

Figura 5. Mapa Estratégico Final

Los indicadores del bloque de aprendizaje y crecimiento presentan unas relaciones con el bloque de procesos internos más acusadas en los objetivos de atención al cliente y calidad de los procesos clínicos y más en concreto en los indicadores de índice de complejidad (calidad de los procesos clínicos), información al paciente y suspensiones asistenciales (atención al cliente). Esta última relación ya se encontraba en el mapa estratégico inicial.

2161

Existe además una relación con el bloque cliente y más concretamente con el indicador de paciente satisfecho.

Por lo tanto se confirma la hipótesis 3 :La relación de la perspectiva aprendizaje y crecimiento es directa con la perspectiva procesos internos.

En las relaciones entre los bloques de procesos internos y cliente, la relación principal se encuentra con el objetivo de cliente externo, y más en concreto con el indicador de paciente satisfecho, dicha relación ya existía en el mapa estratégico inicial. Y también se encuentran relaciones con los objetivos de departamento de salud y cliente interno, aunque en menor medida que la anterior.

Por lo tanto se confirma la hipótesis 4 :La relación de la perspectiva procesos internos es directa con la perspectiva cliente.

5. Conclusiones Tras la realización del trabajo, se puede concluir que se ha conseguido, desarrollar

una completa y novedosa herramienta en lo que a gestión estratégica y de la calidad se refiere para el sector sanitario, que solventa el problema de la diversidad de metodologías que se da en la actualidad, no sólo a nivel mundial, sino también a nivel nacional, y que a su vez pudiese considerarse en un futuro como herramienta factible de ser utilizada en sectores de operación diferentes al sanitario.

Este estudio despejó las dudas sobre las relaciones lineales descritas mediante la Regresión Multivariante, ya que se observó como las relaciones entre los indicadores del BSC no se encuentran en un mismo marco temporal. Se llegó a la conclusión de que determinadas decisiones no producían cambios directos en un indicador, pero con el paso del tiempo si se observaban variaciones del mismo.

Además el empleo de las Redes Neuronales sujetas a la temporalidad de los indicadores lograba disminuir el error cometido en la simulación, existiendo una clara temporalidad a tres y seis meses en los bloques financiero y de aprendizaje y crecimiento respectivamente. Se logró de este modo rediseñar el Mapa Estratégico del HUMS, generando nuevas relaciones verticales y horizontales, entre indicadores y objetivos, que con las herramientas anteriores habían sido desechadas eliminando la linealidad en las relaciones al obtener unos mapas relacionales que contemplaban la totalidad de los indicadores como posible influencia sobre uno de ellos.

En definitiva, el modelo EFQM&BSC para la medición, valoración y alineación de la estrategia en la Gestión de la Calidad en Instituciones Sanitarias, dispone de una herramienta de análisis eficaz en las Redes Neuronales. Las RNA permiten incluir en el desarrollo del mapa estratégico el efecto de la temporalidad, además de la interrelación de todas las variables simultáneamente entre sí, obteniendo un enfoque global y evolutivo.

2162

6. Referencias [1]. Banker, Rajiv D., Surya N. Janakiraman, and Constantine Konstans. Balanced scorecard : linking strategy to performance. Financial Executives Research Foundation, 2001.

[2]. Bernhard, Frank J. Balanced scorecard in real time linking technology for breakthrough performance. Hoboken, N.J, Chichester, 2005.

[3]. Bourne M., and Institute of Management. Understanding the balanced scorecard in a week. Hodder & Stoughton, 2000.

[4]. Chapel Hill, NC. Developing a balanced scorecard of performance measures. Best Practices, 2001.

[5]. Chow, C.W.; Haddad, K.M. y Williamson, J.E. Applying the balanced scorecard to small companies. Management Accounting. August, pp. 21–27, 1997.

[6]. Clinton, B. y Hsu, K. JIT and the balanced scorecard: linking manufacturing control to management control. Management Accounting, September, pp. 18–24, 1997.

[7]. Chen, I-Chun, M. Wilson, y School of Management. The balanced scorecard approach to evaluating e-commerce strategic investment. Manchester : UMIST, 2001.

[8]. European Foundation for Quality Management. Modelo EFQM de la excelencia. Club Gestión de Calidad, 2000.

[9]. European Fundation for Quality Management. Modelo EFQM de Excelencia Sector Público y Organizaciones de Voluntariado, Club Gestión de Calidad, 1999.

[10]. Gnardellis, Theodore. Developing a balanced scorecard and performance indicators : the case of OTE. Elsevier Science Inc, 2001.

[11]. Hecht-Nielsen, R. Applications of counterpropagation networks. Neural Networks 1, pp. 131–139, 1998.

[12]. Hecht-Nielsen, R. Neurocomputing, Addison-Wesley, MA, 1990.

[13]. Huntington, J. Customer focus within the Balanced Scorecard framework, Perform Magazine, 1998.

[14]. Kanji, G. K., and P. M. E. Sa. Kanji's Business Scorecard. Total Quality Management 12, no. 7-8: 898-905, 2001.

[15]. Kaplan Robert S. and D. P. Norton, and Jeff Lecturer Ramsbottom. Using the balanced scorecard as a strategic management system. Harvard Business Review, 1996.

[16]. Kaplan Robert S. and Norton, David P.. Mapas Estratégicos, Gestión 2000, Barcelona, 2004.

[17]. Kaplan Robert S. and Norton, David P. The balanced scorecard: Measures that drive performance Harvard Business Review, 2005

[18]. Kaplan Robert S. and Norton, David P. Como utilizar el Cuadro de Mando Integral, para implantar y gestionar su estategia (The Strategy-Focused Organization) Gestion 2000, 2000.

[19]. Kaplan Robert S. and Norton, David P. Cuadro de Mando Integral (The Balanced Scorecard) Gestion 2000, 2002.

[20]. Kaplan, R. S., and D. P. Norton. Measuring the Strategic Readiness of Intangible Assets. Harvard Business Review 82, 2004.

2163

[21]. Kompou, Sofia, Richard W. Greatbanks, and School of Management. Performance measurement systems in the pragmatic business world : balanced scorecard vs EFQM excellence model. Manchester : UMIST, 2003.

[22]. Meyer, D.W. y Markiewicz, M.A. Developing a balanced scorecard at Wachovia Corporation, Bank Accounting and Finance. Vol. 11 (1), pp. 13–19, 1997.

[23]. Meyer D.W. and Marshall W. Rethinking performance measurement beyond the balanced scorecard. Cambridge, New York: Cambridge University Press, 2002.

[24]. Olve, Nils-Göran, Anna Sjöstrand, y NetLibrary, Inc. The balanced scorecard. Express Exec, 03.08. Oxford, U.K: Capstone Pub, 2002.

[25]. Swingler, K. Applying Neural Networks: A Practical Guide, Academic Press, New York, 1996.

[26]. Turner Geoffrey. Balancing the balanced scorecard : a new role for human resource accounting in sustaining the knowledge-based organisations of the future. Uni. of Kent at Canterbury, 1999.

[27]. Widrow B. and Lehr M. 30 years of adaptive neural networks: perceptron, Madaline, and backpropagation. Proc. IEEE 78 9, pp. 1415–1442, 1990.

Correspondencia Universidad de Zaragoza, Centro Politécnico Superior de Zaragoza, Departamento Economía y Dirección de Empresas, C/ María de Luna, Edificio Betancourt, 50018 Zaragoza, Spain.

Phone:+34 976 761 000 Fax: +34 976 761 865 E-mail: jpastej@unizar.es

2164