Ortogonalizacion de Gram-Schmidt

C. Lopez �

Mayo del 2009

Este trabajo esta licenciado bajo la licencia Creative Commons Attribution-ShareAlike 3.0.

Resumen

En cualquier espacio prehilbertiano, podemos escoger la base en la que queremos trabajar.Muy frecuentemente, el hecho de trabajar en una base ortogonal simplifica mucho los calculosa hacer. El proceso de Gram-Schmidt es un algoritmo que construye una base ortonormalu ortogonal B para un espacio prehilbertiano V dada una base arbitraria D para ese mismoespacio.

Introduccion

El nombre de este proceso proviene de los matematicos Jørgen Perdersen Gram y Erhard Schmidt,aunque ellos ironicamente no fueran los primeros en trabajarlo. Las diferentes versiones que se han publi-cado del proceso que ahora conocemos como el proceso de Gram-Schmidt han sido una interesante historia.La primera, una version ahora conocida como ”modificicacion de Gram-Schmidt” (MGS) fue descrita porprimera vez por Laplace en 1812 y es equivalente a un metodo descrito por Bauer (1865, casi 40 anosdespues). Y tambien es un caso especial de un algoritmo mas general atribuıdo a Cauchy! publlicadoen 1837.Ref: [3][4] Gram y Schmidt obtuvieron el credito por publicarlo en alguna fecha entre los anos1907-1908.Ref: [1]

�Carlos Eduardo Lopez Camey, Universidad del Valle de Guatemala, Algebra Lıneal, Carne #08107, http://kmels.net

1

Notacion

R,Rn numeros reales, n-tuplas de reales{. . . | . . . } conjunto de . . . tales que . . .

pa ..bq, ra ..bs intervalo (abierto o cerrado) de los reales entre a y bV,W,U espacios vectorialesν,µ,ω vectores||ν|| norma L-2 o euclidiana de ν

xµ,νy y µ �ν producto interno real entre los vectores µ y ν

α1 α2 multiplicacion de dos reales α1 y α2µ K ν ortogonalidad entre µ y ν

V ,S ,E conjuntosB,D bases

Producto interior, norma y ortogonalidad

Producto interior

El producto interior es una generalizacion de lo que conocemos como producto punto. En un espaciovectorial, es una manera de multiplicar vectores, dando como resultado de esta multiplicacion, un escalar.

Un espacio vectorial junto con un producto interior en el, es llamado un espacio prehilbertiano o espacioprehilbert.

Definicion 1. Un espacio vectorial V cuyo campo escalar es R, es llamado un espacio prehilbertiano si paracada par de elementos µ,ν en V esta definido un producto interno real xµ,νy cumpliendose para µ,ν,ω P Vy α P R:

1. xµ�ν,ωy � xµ,ωy�xν,ωy2. xαν,ωy � αxν,ωy3. xν,ωy � xω,νy4. xν,νy ¡ 0 ô ν � 0

5. xν,νy = 0 ô ν � 0

2

En general, decimos que el producto interno de dos vectores de n componentes reales es la combinacionlineal de sus componentes, siendo este el producto punto usual. Sean µ,ν vectores

xµ,νy � µ �ν �n

i�1

µiνi � µ1ν1�µν2 � � ��µnνn

Ejemplo 1. El espacio euclidiano Rn sobre los reales, en donde el producto interno esta dado por el productopunto usual xRn,�,�,Ry es un espacio prehilbertiano. Sean µ,ν y ω vectores P Rn y α escalar P R entonces

1. xµ�ν,ωy �n

i�1

pµi�νiqωi �n

i�1

µiωi �νiωi � xµ,ωy� xν,ωy

2. xα�ν,ωy �n

i�1

pαµiqωi �n

i�1

αpµiωiq � α

n

i�1

µiωi � α� xν,ωy

3. xν,ωy � xω,νy �n

i�1

µiωi �n

i�1

ωiµi � xω,νy

4. xν,νy �n

i�1

νiνi �n

i�1

pνiq2 ¡ 0 ô ν � 0

5. xν,νy �n

i�1

νiνi �n

i�1

pνiq2 � 0 ô ν � 0

Dimension de un vector

Sabemos lo que es la base de un espacio vectorial, y sabemos tambien que un espacio puede tenermuchas bases diferentes. Por lo tanto, no podemos hablar de ”la” base para un espacio vectorial, aunquealgunos espacios vectoriales tengan bases que nos parece encontrar mas naturalmente que otras, es decir,por ejemplo la base de P2, el espacio vectorial de los polinomios de grado mayor o igual que dos, tiene comouna base a B � x1,x,x2y.Pero por ejemplo, en el espacio { α2x2�α1x�α0|2α2�α0 � α1 } ninguna base se nos ocurre tan natural-mente como antes.

Sin embargo, podemos encontrar algo sobre las bases que esta asociado unicamente con el espacio. En-tonces, con cada espacio, podemos asociar un numero, el numero de vectores que aparecen en cualquiera desus bases.

Definicion 2. Un espacio vectorial es de dimension finita si y solo si tiene una base con cualesquiera cantidadfinita de vectores.

3

Longitud o norma de un vector

Definicion 3. Dado un vector de dimension n ν =

�����

ν1ν2...

νn

���� , para p = 1,2. . . , la norma denotada ||ν||p de ese

vector se define como ||ν||p � p¸

i

|νi|pq1{p y cumple con las siguientes propiedades: Ref: [5]

1. ||ν|| ¡ 0 ô ν � 0

2. ||ν|| = 0 ô ν = 0

3. ||kν|| = k||ν|| para cualquier escalar k

4. ||ν�µ|| ¤ ||ν||� ||µ|| tambien llamada desigualdad triangular

La norma mas communmente encontrada y con la que estaremos trabajando es la llamada norma-L2 o normaEuclidiana.

||ν||2 � pn

i

|νi|2q 12 �?

ν �ν �axν,νy (1)

En general, las propiedades (1), (2) y (3) se cumplen facilmente siguiendo las propiedades del productointerno. La propiedad (4) o desigualdad triangular la demostraremos mas adelante con la ayuda del siguienteteorema.

Teorema 1. Llamada tambien desigualdad de Cauchy-Schwartz, sean µ y ν dos vectores cualesquiera enun espacio prehilbertiano, se cumple

xµ,νy ¤ ||µ|| ||ν||manteniendo la igualdad si y solo si µ y ν son linealmente dependientes.

Demostracion: Si ν y µ son linealmente dependientes, digamos µ � αν para cualquier escalar α entonces

xαν,νy � ||αν|| ||ν||

αxν,νy � α||ν|| ||ν||

4

α||ν||2 � α||ν||2

Si ν y µ son linealmente independientes, entonces para cualquier escalar λ vemos que µ�λν � 0

xµ�λν,µ�λνy ¡ 0

µ �µ�2λν �µ�λ2

ν �ν ¡ 0

xµ,µy�2λxν,µy�λ2xν,νy ¡ 0

Supongamos λ � xµ,νyxν,νy�1

xµ,µy�2xµ,νyxν,νy�1xν,µy�pxµ,νyxν,νy�1q2xν,νy ¡ 0

xµ,µy�2xµ,νyxν,µyxν,νy�1�xµ,νy2xν,νy�2xν,νy ¡ 0

xµ,µy�2xµ,µyxν,νyxν,νy�1�xµ,νy2xν,νy�1 ¡ 0

xµ,νy2xν,νy�1�xµ,µy ¡ 0

Que es cierto si y solo sixµ,νy2xν,νy�1 ¡ xµ,µyxµ,νy2 ¡ xµ,µyxν,νy|xµ,νy|¡ ||µ|| ||ν||

Teorema 2. Llamado tambien teorema de desigualdad triangular, sean µ,ν dos vectores cualesquiera enun espacio prehilbertiano,

||µ�ν||¤ ||µ||� ||ν||

Podrıamos pensar que esta desigualdad equivale al enunciado que afirma ”La distancia mas corta entredos puntos esta en una linea recta.”

µ

νν + µ

inicio

fin

5

Demostracion:||µ�ν||2 ¤ p||µ||� ||ν||q2

||µ||2�2xµ,νy� ||y||2 ¤ ||µ||2�2||µ|| ||ν||� ||y||2

xµ,νy ¤ ||µ|| ||ν||Cumpliendose usando la desigualdad de Cauchy-Schwartz

Notese que la igualdad en esta propiedad de la norma se mantiene de nuevo si y solo si los vectores µ yν son linealmente dependientes.

Ortogonalidad

Definicion 4. Sea V un espacio prehilbertiano: Ref: [6]

1. Dos vectores µ,ν P V son ortogonales si y solo si xµ,νy = 0

2. Un conjunto de vectores {µ1,µ2 . . .µn} es ortogonal si µi K µ j @ i, j P r1..ns e i � j

Ejemplo 2. Dos vectores ortogonales respecto al producto interno de vectores, es decir, el producto punto

�1�1

��

1�1

� 0

Teorema 3. Si un conjunto de vectores {µ1 . . .µku P Rn es ortogonal para cada con µi � 0, entonces elconjunto es linealmente independiente.

Demostracion: Considerese la relacion lineal α1µ1 �α2µ2 � �� � �αkµk � 0. Si i P r1 . . .ks, aplicando elproducto punto µi en ambos lados de la ecuacion

µi � pα1µ1�α2µ2��� ��αkµkq � µi �0

µiα1µ1�µiα2µ2��� ��µiαiµi � � ��µiαkµk � 0

α1pµiµ1q�α2pµiµ2q� � � ��αipµiµiq� � � ��αkpµiµkq � 0

αipµi �µiq � 0

cuya unica solucion es αi � 0 cumpliendose la propiedad (4) del producto interno.

6

Ejemplo 3 (Teorema de Pitagoras). Sea ξ � {µ1,µ2 . . .µn} un conjunto ortogonal de vectores entonces

||n

i�1

µi||2 �n

i�1

||µi||2

En particular, si µ K ν@µ,ν P ξ

||µ�ν||2 � ||µ||2� ||ν||2

Demostracion:

||n

i�1

µi||2 � xn

i�1

µi,n

j�1

µ jy �n

i�1

pxµi,n

j�1

µ jyq

Pero µi �µ j � 0@ i � j, entoncesn

i�1

pxµi,n

j�1

µ jyq �n

i�1

||µi||2

Proyecciones ortogonales

Hasta el momento hemos hablado de lo que es la norma de un vector, el producto interior de vectores y lapropiedad de la ortogonalidad. Todas estas nos ayudaran ahora a definir lo que es una proyeccion ortogonal.

Para poder explicar lo que es una proyeccion ortogonal, la consideraremos primero sobre una lınea. Siqueremos proyectar ortogonalmente un vector ν sobre una lınea `, pensaremos que esta es la sombra queproyecta ν en `. Sabemos que un punto se obscurecera en la lınea si alguien en esa lınea al ver hacia arribao hacia abajo, puede observar a ν.

`

La figura anterior muestra a alguien que ha caminado en la lınea hasta que la punta del vector ν estejustamente arriba de el. Aquı, la lınea estara descrita como la extension de algun vector `� tcµ |c PRu � 0.

cµ

ν ν − cµ

7

Podemos dar solucion al coeficiente c al notar que ν� cµ K cµ, manteniendo ν su ortogonalidad con µ.Haciendo uso de la propiedad de la ortogonalidad

xν� cµ,µy � 0 ñ c � ν �µµ �µ

Definicion 5. La proyeccion ortogonal de ν sobre una lınea extendida o generada por el vector µ � 0 es elvector

projµpνq �ν �µµ �µ µ

Ejemplo 4. Para proyectar ortogonalmente el vector ν =�

23

sobre la lınea y� 2x, escogeremos primero

la direccion de un vector para la lınea y.

µ ��

12

cumple. Entonces

proj�� 1

2

� p

�23

q �

�23

�

�12

�

12

�

�12

�

12

�

85

�12

�

�8{516{5

El proceso de Gram-Schmidt

Podemos estudiar la proyeccion sobre una lınea extendida por µ como una descomposicion de ν en dospartes

projµ(ν)

ν ν − projµ(ν)ν � projµν�pν�projµνq

Corolario 4. Un conjunto S de vectores ortogonales en un sub-espacio de tamano k de un espacio dedimension k es una base para ese espacio.

8

Demostracion: Sabemos que S es linearmente independiente (Teorema 3) y cualquier subconjunto L.I. detamano k de un espacio de dimension k es una base

Notese que el inverso de este Corolario no se cumple (no cualquier base de cualquier sub-espacio de Rn

esta conformada por vectores ortogonales). Pero podemos decir que para cada sub-espacio de Rn hay por lomenos una base compuesta por vectores ortogonales.

Ejemplo 5. Los vectores ω1 y ω2 de esta base D para R2 no son ortogonales

ω1

ω2

D � t�

42

,

�13

u

Sin embargo, podemos encontrar a partir de D una nueva base para el mismo espacio que este compuestapor vectores ortogonales. Para el primer vector miembro de nuestra nueva base escogeremos a ω1

ν1 ��

42

Para el segundo vector, quitaremos de ω2 su parte en la direccion de ν1

ν2 �

�13

�projν1

p

�13

q �

�13

�

�21

�

��1

2

ν2

que deja la parte ν2 de ω2 K ν1 (por la definicion de proyeccion). Notemos que, por el Corolario (4), {ν1,ν2}es una base para R2

Definicion 6. Un conjunto de vectores ortogonal que es base para un espacio vectorial, es llamado baseortogonal.

Ejemplo 6. Para convertir a la base D = {

�� 1

11

� ,�� 0

20

� ,�� 1

03

� } de R3 en una base ortogonal B =

{ν1,ν2,ν3}, tomaremos el primer vector ν1 de nuestra nueva base tal y como esta dado en D .

ν1 ��� 1

11

�

9

Obtenemos ν2 comenzando con el segundo vector miembro de D y quitandole su parte en la direccion deν1 (tal y como en el ejemplo anterior)

ν2 ��� 0

20

� �projν1

p�� 0

20

� q �

�� 0

20

� �

�� 2{3

2{32{3

� �

�� �2{3

4{3�2{3

�

De igual manera, con ν3, tomaremos el tercer vector dado en D y quitandole su parte en la direccion de ν1,y tambien en la direccion de ν2

ν3 ��� 1

03

� �projν1

p�� 1

03

� q�projν2

p�� 1

03

� q �

�� �1

01

�

De nuevo tenemos, que B � {�� 1

11

� ,�� �2{3

4{32{3

� ,�� �1

01

� }, segun el Corolario (4), es una base

ortogonal para Rn.

El siguiente resultado –proposito de esta publicacion– verifica que el proceso usado en estos ultimosdos ejemplos funciona con cualquier base para cualquier sub-espacio de Rn (estamos restringidos a Rn yaque no dimos una definicion de ortogonalidad para otros espacios vectoriales)

Teorema 5. Ortogonalizacion de Gram-Schmidt. Ref: [7] Si B � {ω1, . . .ωk} es una base para un sub-espacio de Rn entonces, D = {ν1,ν2,ν3, . . .νk} donde

ν1 � ω1

ν2 � ω2�projν1pω2q

ν3 � ω3�projν1pω3q�projν2

pω3q...

νk � ωk �projν1pωkq� � � ��projωk�1

pωkq

es una base ortogonal.

Demostracion: Usaremos la induccion para probar que cada νi es diferente de cero, esta dentro del gen-erado de {ω1 . . .ωi} y es ortogonal a sus vectores precedentes, es decir ν1 � νi � ν2 � νi � � � � νi�1 � νi � 0.Cumpliendose esto, junto con el Corolario (4), tendremos que {ν1, . . .νk} es una base para el mismo espacioque {ω1, . . .ωk}.

Cubriremos los casos hasta i = 3, dejando al lector como ejercicio completar el resto de casos.

10

Para i = 1, el caso es trivial ya que establecemos ν1 � ω1, haciendolo diferente de cero y tambien estadentro del generado de B . La tercera condicion se cumple por vacuidad.

Para i = 2, expanderemos la definicion de ν2

ν2 � ω2�projν1pω2q � ω2� ω2 �ν1

ν1 �ν1ν1 � ω2� ω2 �ν1

ν1 �ν1ω1

Vemos que ν2 es diferente de cero, de otro modo esta serıa una dependencia lineal de B , tambien muestraque esta en el generado de este y es ortogonal a su unico vector precedente

ν1 �ν2 � ν1 � pω2�projν1pω2qq � 0

por la definicion de proyeccion.

Para i = 3, como en el caso de i = 2, expandiremos su definicion

ν3 � ν3� ω3 �ν1

ν1 �ν1ν1� ω3 �ν2

ν2 �ν2ω2 � ν3� ω3 �ν1

ν1 �ν1ω1� ω3 �ν2

ν2 �ν2pω2� ω2 �ν1

ν1 �ν1ω1q

Mostrando que ν3 es diferente de cero y esta en el generado. Mostrando que es ortogonal a su vectorvector precedente ν1

ν1 �ν3 � ν1 � pω3�projν1pω3q�projν2

pω3qq� ν1 � pω3�projν1

pω3qq�ν1 �projν2pω3q

� 0

Vemos que el primer termino es cero ya que esta es una proyeccion ortogonal, como en el caso para i= 2. El segundo termino es cero dado que ν1 es ortogonal a ν2 (y tambien lo es para cualquier vector en lalinea expandida por ν2). Para mostrar que ν3 es ortogonal a su otro vector precedente ν2, el proceso es elmismo.

Ahora que tenemos una base ortogonal, podrıamos hacer que cada vector dentro de esta tenga longitudo norma uno, diviendo a cada uno dentro de su propia longitud. A este proceso se le llama normalizaciony a el conjunto ortogonal formado por vectores de longitud uno, conjunto de vectores ortonormales.

Ejemplo 7. Normalizando la norma de cada vector en la base ortogonal del ejemplo (6) produce esta baseortonormal

x�� 1{?3

1{?31?

3

� ,�� �1{?6

2{?6�1{?6

� ,�� �1{?2

01{?2

� y

11

Referencias

[1] The National Science Digital Library, Short History of the names behind the Gram-Schmidt Process,The National Science Foundation.

[2] Frank Deutsch, Best approximation in inner product spaces, Springer, 2001.

[3] Owe Axelsson, Iterative solution methods, Edicion 3, Cambridge University Press, 1996, ISBN0521555698, 9780521555692

[4] R.W. Farebrother, Fitting Linear Relationships: A History of the Calculus of Observations 1750-1900,Edicion Ilustrada, Springer, 1999, ISBN 0387985980, 9780387985985

[5] Gradshteyn, I. S. y Ryzhik, Tables of Integrals, Series, and Products, Sexta edicion, p. 1081, 2000,ISBN 0123736374, 9780123736376

[6] Ernest L. Hall, Handbook of Industrial Automation, Orthogonality, p. 60, ISBN ISBN 0824703731,9780824703738

[7] J. Hefferon, Linear Algebra, Saint Michael’s College. [Agradecimiento especial por las imagenes elab-oradas en Metapost usadas en este texto]

12