Algebra-Lineal-y-sus-Aplicaciones-3ra-Edición-David-C.-Lay

6.1 Producto interior, longitud y ortogonalidad 377 Para cualquier escalar c, la longitud de cv es |c| veces la longitud de v. Esto es, cv c v (Para ver esto, calcule cv 2 = (cv) · (cv) = c2v · v = c2 v 2 y obtenga las raíces cua- dradas.) Un vector cuya longitud es 1 se llama vector unitario. Si se divide un vector v diferente de cero entre su longitud —esto es, se multiplica por 1/ v — se obtiene un vector unitario u porque la longitud de u es (1/ v ) v . El proceso de crear a u a partir de v en ocasiones se denomina normalización de v, y se dice que u está en la misma dirección que v. Varios de los ejemplos siguientes utilizan una notación con la que se ahorra espacio con vectores (columna). EJEMPLO 2 Sea v = (1, −2, 2, 0). Encuentre un vector unitario u en la misma direc- ción que v. Solución Primero, determine la longitud de v: v 2 = √v·v = (1)2 + (−2)2 + (2)2 + (0)2 = 9 v 9=3 Después, multiplique v por 1/ v para obtener ⎡ ⎤⎡ ⎤ 1 1/3 ⎢⎢⎣ ⎥⎥⎦ ⎢⎢⎣ ⎥⎦⎥ u= 1 v = 1 v = 1 −2 = −2/3 v 3 3 2 2/3 00 x2 Para comprobar que u = 1, basta con demostrar que u 2 = 1. W u 2 = u·u = 1 2+ − 2 2+ 2 2 + (0)2 3 3 3 1 = 1 + 4 + 4 + 0=1 ❙❙❙❙❘❙❙❙❙❚ x 9 9 9 1 (a) x1 x2 EJEMPLO 3 Sea W el subespacio de R2 generado por x = ( 2 , 1). Encuentre un vector y 3 unitario z que sea una base de W. Solución W consta de todos los múltiplos de x, como en la figura 2(a). Cualquier vec- tor en W que sea diferente de cero es una base de W. Para simplificar el cálculo, “escale” x para eliminar las fracciones. Esto es, se multiplica x por 3 para obtener 1 y= 2 z 3 1 x1 √ Ahora calcule y 2 = 22 + 32 = 13, y 13, y normalice y para obtener (b) z = √1 2 √ 13 3 2/√13 FIGURA 2 = 3/ 13 Normalización de un vector para producir un vector unitario. √√ Vea la figura 2(b). Otro vector unitario es (−2/ 13, −3/ 13). ❙❙❙❙❘❙❙❙❙❚

378 Capítulo 6 Ortogonalidad y mínimos cuadrados Distancia en Rn Ahora se tiene la capacidad de describir qué tan cercano es un vector a otro. Recuerde que si a y b son números reales, la distancia sobre la recta numérica entre a y b es el número |a − b|. En la figura 3, se muestran dos ejemplos. Esta definición de distancia en R tiene un análogo directo en Rn. ab ab 123456789 –3 –2 –1 0 1 2 3 4 5 6 unidades de distancia 7 unidades de distancia |2 – 8| = |–6| = 6 o bien |8 – 2| = |6| = 6 |(–3) – 4| = |–7| = 7 o bien |4 – (–3)| = |7| = 7 FIGURA 3 Distancias en R. DEFINICIÓN Para u y v en Rn, la distancia entre u y v, escrita como dist(u, v), es la longitud del vector u − v. Esto es, dist(u, v) u − v En R2 y R3, esta definición de distancia coincide con las fórmulas usuales para la distancia euclidiana entre dos puntos, tal como indican los dos ejemplos siguientes. EJEMPLO 4 Encuentre la distancia entre los vectores u = (7, 1) y v = (3, 2). Solución Calcule u−v= 7 − 3 = 4 u−v 1 2 −1 √ 42 + (−1)2 = 17 Los vectores u, v y u − v se muestran en la figura 4. Cuando se suma el vector u − v a v, el resultado es u. Observe que el paralelogramo de la figura 4 muestra que la distancia de v a u es la misma que de u − v a 0. ❙❙❙❙❘❙❙❙❙❚ x2 v ||u – v|| 1u x1 1 u–v –v FIGURA 4 La distancia entre u y v es la longitud de u − v.

6.1 Producto interior, longitud y ortogonalidad 379 EJEMPLO 5 Si u = (u1, u2, u3) y v = (v1, v2, v3), entonces dist(u, v) u − v (u − v)·(u − v) = (u1 − v1)2 + (u2 − v2)2 + (u3 − v3)2 ❙❙❙❙❘❙❙❙❙❚ Vectores ortogonales ||u – v|| u El resto de este capítulo se subordina al hecho de que el concepto de líneas perpendicu- lares en la geometría euclidiana ordinaria tiene un análogo en Rn. v Considere R2 o R3 y dos líneas que pasen por el origen determinadas mediante los ||u –(– v)|| vectores u y v. Las dos líneas que se muestran en la figura 5 son geométricamente 0 perpendiculares si, y sólo si, la distancia desde u hasta v es igual a la distancia desde u hasta −v. Esto es análogo a pedir que los cuadrados de las distancias sean iguales. Ahora –v [ dist(u, −v) ]2 u − (−v) 2 u + v 2 Teorema 1(b) FIGURA 5 = (u + v)·(u + v) Teorema 1(a), (b) = u·(u + v) + v·(u + v) Teorema 1(a) = u·u + u·v + v·u + v·v (1) u 2 + v 2 + 2u·v Los mismos cálculos con v y −v intercambiados muestran que [dist(u, v)]2 u 2 + v 2 + 2u·(−v) u 2 + v 2 − 2u·v Las dos distancias elevadas al cuadrado son iguales si, y sólo si, 2u · v = −2u · v, lo cual sucede si, y sólo si, u · v = 0. Estos cálculos muestran que cuando los vectores u y v se identifican con puntos geométricos, las líneas correspondientes que pasan por los puntos y el origen son per- pendiculares si, y sólo si, u · v = 0. La siguiente definición generaliza a Rn esta no- ción de perpendicularidad (u ortogonalidad, como se le llama comúnmente en álgebra lineal). D E F I N I C I Ó N Dos vectores u y v en Rn son ortogonales (entre sí) si u · v = 0. u+v ||v|| ||u + v|| u Observe que el vector cero es ortogonal a todo vector en Rn porque 0Tv = 0 para toda v. v ||u|| En el teorema siguiente se proporciona un dato clave acerca de los vectores orto- gonales. La demostración se deriva inmediatamente a partir de los cálculos incluidos en 0 (1) antes de la definición de ortogonalidad. El triángulo rectángulo mostrado en la figura 6 FIGURA 6 proporciona una visualización de las longitudes que aparecen en el teorema.

380 Capítulo 6 Ortogonalidad y mínimos cuadrados TEOREMA 2 El teorema de Pitágoras Dos vectores u y v son ortogonales si, y sólo si, u + v 2 = u 2 + v 2. Complementos ortogonales Con la intención de que el lector pueda practicar el uso de los productos interiores, se introduce aquí un concepto que será útil en la sección 6.3 y en el resto del capítulo. Si un vector z es ortogonal a todo vector en un subespacio W de Rn, se afirma entonces que z es ortogonal a W. El conjunto de todos los vectores z que son ortogonales a W se llama complemento ortogonal de W y se denota mediante W⊥ (se lee “W perpendicular o simplemente “W perp”). w EJEMPLO 6 Sea W un plano que pasa por el origen en R3, y sea L la línea que pasa por el origen y es perpendicular a W. Si z y w son diferentes de cero, z está sobre L, y w 0 zL está en W, entonces el segmento de línea de 0 a z es perpendicular al segmento de línea de 0 a w; esto es, z · w = 0. Vea la figura 7. Así que cada vector sobre L es ortogonal a W cada w en W. De hecho, L consiste en todos los vectores que son ortogonales a los w en FIGURA 7 W, y W consiste en todos los vectores ortogonales a los vectores z en L. Esto es, Un plano y la línea que pasa por 0 como complementos ortogonales. L = W⊥ y W = L⊥ ❙❙❙❙❘❙❙❙❙❚ Los dos hechos siguientes acerca de W⊥, siendo W un subespacio de Rn, se necesita- rán más adelante en el capítulo. Las demostraciones se sugieren en los ejercicios 29 y 30. Los ejercicios del 27 al 31 ofrecen una práctica excelente para el uso de las propiedades del producto interior. 1. Un vector x está en W⊥ si, y sólo si, x es ortogonal a todo vector de un conjunto que genere a W. 2. W⊥ es un subespacio de Rn. El siguiente teorema y el ejercicio 31 prueban las afirmaciones contenidas en la sección 4.6 acerca de los subespacios que se muestran en la figura 8. (Vea también el ejercicio 28 de la sección 4.6.) A 0 Nul A Nul AT 0 Fil A Col A FIGURA 8 Los subespacios fundamentales determinados por una matriz A de m × n.

6.1 Producto interior, longitud y ortogonalidad 381 TEOREMA 3 Sea A una matriz de m × n. El complemento ortogonal del espacio fila de A es el espacio nulo de A, y el complemento ortogonal del espacio columna de A es el espacio nulo de AT: (Fil A)⊥ = Nul A y (Col A)⊥ = Nul AT DEMOSTRACIÓN La regla fila-columna para calcular Ax muestra que si x está en Nul A, entonces x es ortogonal a cada fila de A (si las filas se tratan como vectores en Rn). Dado que las filas de A generan el espacio fila, x es ortogonal a Fil A. De manera recí- proca, si x es ortogonal a Fil A, entonces, evidentemente, x es ortogonal a cada fila de A y, por lo tanto, Ax = 0. Esto prueba la primera afirmación del teorema. Puesto que este enunciado es cierto para cualquier matriz, es verdadero también para AT. Es decir, el complemento ortogonal del espacio fila de AT es el espacio nulo de AT. Lo cual de- muestra el segundo enunciado, porque Fil AT = Col A. Q Ángulos en R2 y R3 (opcional) Si u y v son vectores diferentes de cero en R2 o en R3, entonces existe una conexión interesante entre sus productos interiores y el ángulo ϑ entre los dos segmentos de línea que van desde el origen hasta los puntos identificados con u y v. La fórmula es u·v u v cos ϑ (2) Para verificar esta fórmula para vectores en R2, considere el triángulo mostrado en la figura 9, cuyos lados tienen longitudes u , v , y u − v . Por la ley de los cosenos, u − v 2 u 2 + v 2 − 2 u v cos ϑ lo cual puede reordenarse para obtener u v cos ϑ = 1 u 2 + v 2 u−v 2 2 1 u12 + u22 + v21 + v22 − (u1 − v1)2 − (u2 − v2)2 = 2 = u1v1 + u2v2 = u·v (u1, u2) (v1, v2) ||u – v|| ||u|| ␽ ||v|| FIGURA 9 El ángulo entre dos vectores.

382 Capítulo 6 Ortogonalidad y mínimos cuadrados La verificación para R3 es semejante. Cuando n > 3, la fórmula (2) se puede usar para definir el ángulo entre dos vectores de Rn. En estadística, por ejemplo, el valor de cos ϑ definido mediante (2) para los vectores u y v es lo que los estadísticos llaman un coefi- ciente de correlación. PROBLEMAS DE PRÁCTICA ⎡⎤ ⎡⎤ Sean a = −2 ,b= −3 4/3 5 1 1 , c = ⎣ −1 ⎦, y d = ⎣ 6 ⎦. 2/3 −1 a·b a·b 1. Calcule a·a y a·a a. 2. Encuentre un vector unitario u en la dirección de c. 3. Muestre que d es ortogonal a c. 4. Use los resultados de los problemas de práctica 2 y 3 para explicar por qué d tiene que ser ortogonal al vector unitario u. 6.1 EJERCICIOS En los ejercicios 1 a 8, determine las cantidades usando los vec- Determine cuáles pares de vectores en los ejercicios 15 al 18 son tores ⎡⎤ ⎡⎤ ortogonales 3 6 u= −1 , v= 4 , 8 −2 ⎡⎤ ⎡⎤ 2 6 w = ⎣ −1 ⎦, x = ⎣ −2 ⎦ −5 −3 12 2 −5 3 15. a = ,b= 16. u = ⎣ 3 ⎦, v = ⎣ −3 ⎦ v·u x·w −5 3 u·u w·w 1. u·u, v·u , y 2. w·w, x·w y ⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤ 3 −4 −3 1 1 1 17. u = ⎢⎢⎣ 2 ⎥⎦⎥, v = ⎣⎢⎢ 1 ⎥⎥⎦ 18. y =⎢⎢⎣ 7 ⎥⎦⎥, z =⎣⎢⎢ −8 ⎦⎥⎥ 3. w·w w 4. u·u u −5 −2 4 15 u·v x·w 06 0 −7 5. v·v v 6. x·x x En los ejercicios 19 y 20, todos los vectores están en Rn. Señale 7. w 8. x cada enunciado como verdadero o falso. Justifique sus respuestas. En los ejercicios 9 a 12, encuentre un vector unitario en la direc- 19. a. v · v = v 2. ción del vector dado. b. Para cualquier escalar c, u · (cv) = c(u · v). 9. −30 ⎡⎤ c. Si la distancia de u a v es igual a la distancia de u a −v, 40 −6 entonces u y v son ortogonales. 10. ⎣ 4 ⎦ d. Para una matriz cuadrada A, los vectores de Col A son ortogonales a los vectores de Nul A. −3 e. Si los vectores v1, . . . , vp generan un subespacio W y si x ⎡⎤ 12. 8/3 es ortogonal a cada vj para j = 1, . . . , p, entonces x está en 7/4 2 W⊥. 11. ⎣ 1/2 ⎦ 20. a. u · v − v · u = 0. 1 b. Para cualquier escalar c, cv = c v . 13. Encuentre la distancia entre x = 10 y y= −1 . c. Si x es ortogonal a todo vector en un subespacio W, enton- −3 −5 ces x está en W⊥. ⎡⎤ ⎡⎤ 0 −4 14. Encuentre la distancia entre u = ⎣ −5 ⎦y z = ⎣ −1 ⎦. 28

6.1 Producto interior, longitud y ortogonalidad 383 d. Si u 2 + v 2 = u + v 2, entonces u y v son ortogona- 30. Sea W un subespacio de Rn, y sea W⊥ el conjunto de todos los les. vectores ortogonales a W. Muestre que W⊥ es un subespacio de Rn usando los siguientes pasos: e. Para una matriz A de m × n, los vectores en el espacio nulo de A son ortogonales a los vectores en el espacio fila de A. a. Tome z en W⊥, y sea u tal que represente a cualquier ele- mento de W. Entonces z · u = 0. Tome cualquier escalar 21. Use la definición de transpuesta del producto interior para c y muestre que cz es ortogonal a u. (Puesto que u era verificar los incisos (b) y (c) del teorema 1. Mencione las re- un elemento arbitrario de W, esto mostrará que cz está en ferencias apropiadas del capítulo 2. W⊥.) 22. Sea u = (u1, u2, u3). Explique por qué u · u ≥ 0. ¿Cuándo es b. Tome z1 y z2 de W⊥, y sea u cualquier elemento de W. Muestre que z1 + z2 es ortogonal a u. ¿Qué puede con- u · u = 0? ⎡⎤ ⎡⎤ cluirse acerca de z1 + z2? ¿Por qué? 2 −7 c. Termine la demostración de que W⊥ es un subespacio de 23. Sean u = ⎣ −5 ⎦ y v = ⎣ −4 ⎦. Calcule y compare u · v, Rn. −1 6 u 2, v 2, y u + v 2. No utilice el teorema de Pitágoras. 31. Muestre que si x está en W y en W⊥, entonces x = 0. 24. Verifique la ley del paralelogramo para los vectores u y v en 32. [M] Construya un par u, v de vectores al azar en R4, y sea Rn: ⎡⎤ u+v 2+ u−v 2=2 u 2+2 v 2 .5 .5 .5 .5 25. Sea v = a . Describa el conjunto H de vectores x que A = ⎢⎢⎣..55 .5 −.5 −..5 ⎥⎥⎦ b y −.5 .5 −.5 .5 −.5 −.5 .5 son ortogonales a v. [Sugerencia: Considere v = 0 y v 0.] a. Denote las columnas de A mediante a1,. . . , a4. Determine la longitud de cada columna y calcule a1 · a2, a1 · a3, a1 · a4, ⎡⎤ a2 · a3, a2 · a4 y a3 · a4. 5 b. Calcule y compare las longitudes de u, Au, v, y Av. 26. Sea u = ⎣ −6 ⎦, y sea W el conjunto de todos los x en R3 c. Utilice la ecuación (2) de esta sección para calcular el co- 7 seno del ángulo entre u y v. Compárelo con el coseno del ángulo entre Au y Av. tales que u · x = 0. ¿Qué teorema del capítulo 4 puede usarse para demostrar que W es un subespacio de R3? Describa W en d. Repita los incisos (b) y (c) para otros dos pares de vecto- res al azar. ¿Qué conjeturas pueden formularse acerca del lenguaje geométrico. efecto de A sobre los vectores? 27. Suponga que un vector y es ortogonal a los vectores u y v. Muestre que y es ortogonal al vector u + v. 28. Suponga que y es ortogonal a u y v. Muestre que y es ortogo- 33. [M] Genere vectores al azar x, y y v en R4 con entradas ente- nal a todo w en Gen{u, v}. [Sugerencia: Un w arbitrario en ras (y v 0), y determine las cantidades Gen{u, v} tiene la forma w = c1u + c2v. Muestre que y es ortogonal a tal vector w.] x·v y·v (x + y)·v (10x)·v v·v v, v·v v, v·v v, v·v v Repita los cálculos con nuevos vectores al azar x y y. ¿Qué conjetura puede formularse acerca de la función x → T (x) = w x·v v u (para v v·v 0)? Verifique su conjetura de manera al- 0 gebraica. v Gen{u, v} y ⎡⎤ −6 3 −27 −33 −13 ⎥⎥⎥⎥⎦. 34. [M] Sea A = ⎢⎢⎢⎣⎢ 6 −5 25 28 14 Construya 8 −6 34 38 18 12 −10 50 41 23 14 −21 49 29 33 29. Sea W = Gen{v1, . . . , vp}. Muestre que si x es ortogonal a una matriz N cuyas columnas formen una base para Nul A, todo vj, para 1 ≤ j ≤ p, entonces x es ortogonal a todo vector y una matriz R cuyas filas formen una base para Fil A. (Con- de W. sulte la sección 4.6 para ver mayores detalles.) Realice un cálculo matricial con N y R que ilustre un hecho del teo- rema 3.

384 Capítulo 6 Ortogonalidad y mínimos cuadrados SOLUCIONES A LOS PROBLEMAS DE PRÁCTICA 1. a · b = 7, a · a = 5. Por lo tanto, a·b = 7 a·b a = 7a = −14/5 . a·a ,y a·a 5 7/5 5 ⎡⎤ 4 2. Escale c al multiplicarlo por 3 para obtener y = ⎣ −3 ⎦. Calcule y 2 = 29 y y √2 29. ⎡ √ ⎤ 4/√29 El vector unitario en la dirección tanto de c como de y es u = 1 y = ⎣ −3/√29 ⎦. y 2/ 29 3. d es ortogonal a c porque ⎡ ⎤⎡ ⎤ d·c = ⎣ 5 ⎦·⎣ 4/3 ⎦ = 20 − 6 − 2 = 0 6 −1 3 3 −1 2/3 4. d es ortogonal a u porque u tiene la forma kc para alguna k, y d·u = d·(kc) = k(d·c) = k(0) = 0 6.2 CONJUNTOS ORTOGONALES Se dice que un conjunto de vectores {u1, . . . , up} en Rn es un conjunto ortogonal si cada par de vectores distintos en el conjunto es ortogonal, esto es, si ui · uj = 0 siempre que i j. EJEMPLO 1 Muestre que {u1, u2, u3} es un conjunto ortogonal, donde ⎡⎤ ⎡⎤ ⎡⎤ 3 −1 −1/2 u1 = ⎣ 1 ⎦ , u2 = ⎣ 2 ⎦ , u3 = ⎣ −2 ⎦ x3 u3 1 1 7/2 u1 Solución Considere los tres pares posibles de vectores, es decir, {u1, u2}, {u1, u3}, y x1 {u2, u3}. FIGURA 1 u1 ·u2 = 3(−1) + 1(2) + 1(1) = 0 u2 u1 ·u3 =3 − 1 + 1(−2) + 1 7 =0 2 2 u2 ·u3 = −1 − 1 + 2(−2) + 1 7 =0 2 2 x2 Cada par de vectores distintos es ortogonal, así que {u1, u2, u3} es un conjunto ortogo- nal. Vea la figura 1; los tres segmentos de línea que se muestran son mutuamente perpen- diculares. ❙❙❙❙❘❙❙❙❙❚ TEOREMA 4 Si S = {u1, . . . , up} es un conjunto ortogonal de vectores diferentes de cero en Rn, entonces S es linealmente independiente y, por lo tanto, es una base del subespacio generado por S.

6.2 Conjuntos ortogonales 385 DEMOSTRACIÓN Si 0 = c1u1 + · · · + cpup para algunos escalares c1, . . . , cp, entonces 0 = 0·u1 = (c1u1 + c2u2 + · · · + cpup)·u1 = (c1u1)·u1 + (c2u2)·u1 + · · · + (cpup)·u1 = c1(u1 · u1) + c2(u2 · u1) + · · · + cp(up · u1) = c1(u1 · u1) porque u1 es ortogonal a u2, . . . , up. Como u1 es diferente de cero, u1 · u1 no es cero y, por lo tanto, c1 = 0. De manera similar, c2, . . . , cp deben ser cero. Así que S es lineal- mente independiente. Q DEFINICIÓN Una base ortogonal para un subespacio W de Rn es una base para W que también es un conjunto ortogonal. El teorema siguiente sugiere por qué una base ortogonal es mucho mejor que otras bases: Los pesos de una combinación lineal pueden calcularse fácilmente. TEOREMA 5 Sea {u1, . . . , up} una base ortogonal para un subespacio W de Rn. Para cada y en W, los pesos en la combinación lineal y = c1u1 + · · · + cpup están dados por cj = y · uj (j = 1, . . . , p) uj · uj DEMOSTRACIÓN Igual que en la demostración anterior, la ortogonalidad de {u1, . . . , up} muestra que y·u1 = (c1u1 + c2u2 + · · · + cpup)·u1 = c1(u1 · u1) Como u1 · u1 no es cero, la ecuación anterior puede resolverse para c1. Para encontrar cj para j = 2, . . . , p, se calcula y · uj y se despeja cj. Q EJEMPLO 2 El conjunto S = {u1, u2, u3} del ejemplo 1 es una base ortogonal para R3. ⎡⎤ 6 Exprese el vector y = ⎣ 1 ⎦como una combinación lineal de los vectores en S. −8 Solución Calcule y·u1 = 11, y·u2 = −12, y·u3 = −33 u1 · u1 = 11, u2 · u2 = 6, u3 · u3 = 33/2

386 Capítulo 6 Ortogonalidad y mínimos cuadrados De acuerdo con el teorema 5, y = y · u1 u1 + y · u2 u2 + y · u3 u3 u1 · u1 u2 · u2 u3 · u3 11 −12 −33 = 11 u1 + 6 u2 + 33/2 u3 = u1 − 2u2 − 2u3 ❙❙❙❙❘❙❙❙❙❚ Observe lo fácil que es calcular los pesos necesarios para construir y a partir de una base ortogonal. Si la base no fuera ortogonal, habría que resolver un sistema de ecuacio- nes lineales para poder encontrar los pesos, como en el capítulo 1. Enseguida se verá una estructura que va a constituirse en paso clave para muchos de los cálculos que involucran ortogonalidad, y conducirá a una interpretación geométrica del teorema 5. Una proyección ortogonal Dado un vector u diferente de cero en Rn, considere el problema de descomponer un vector y de Rn en la suma de dos vectores, uno un múltiplo de u y el otro ortogonal a u. Se desea escribir y = yˆ + z (1) z = y – yˆ y donde yˆ = αu para algún escalar α y z es algún vector ortogonal a u. Vea la figura 2. Dado cualquier escalar α, sea z = y − αu, de manera que (1) se cumple. Entonces y − yˆ es ortogonal a u si, y sólo si, 0 yˆ = u u 0 = (y − αu)·u = y·u − (αu)·u = y·u − α(u·u) FIGURA 2 Esto es, (1) se cumple con z ortogonal a u si, y sólo si, α = y·u y yˆ = y·u El vector u·u u·u u. Cómo encontrar un α para hacer que y − yˆ sea ortogonal a u. yˆ es la proyección ortogonal de y sobre u, y el vector z es la componente de y orto- gonal a u. Si c es cualquier escalar diferente de cero y se reemplaza u por cu en la definición de yˆ , entonces la proyección ortogonal de y sobre cu es exactamente la misma proyec- ción ortogonal de y sobre u (ejercicio 31). De aquí que esta proyección esté determinada por el subespacio L generado mediante u (la línea que pasa por u y 0). Algunas veces yˆ se denota con proyL y y se le llama proyección ortogonal de y sobre L. Esto es, y·u (2) yˆ = proyL y = u·u u EJEMPLO 3 Sean y = 7 yu= 4 . Encuentre la proyección ortogonal de y so- 6 2 bre u. Luego escriba y como la suma de dos vectores ortogonales, uno en Gen{u} y otro ortogonal a u.

6.2 Conjuntos ortogonales 387 Solución Calcule y·u = 7 · 4 = 40 6 2 u·u = 4 · 4 = 20 2 2 La proyección ortogonal de y sobre u es yˆ = y·u = 40 = 2 4 = 8 u·uu u 2 4 20 y la componente de y ortogonal a u es y − yˆ = 7 − 8 = −1 6 4 2 La suma de estos dos vectores es y. Es decir, 7 = 8 + −1 6 4 2 ↑↑ ↑ y yˆ (y − yˆ) Esta descomposición de y se ilustra en la figura 3. Nota: Si los cálculos anteriores son correctos, entonces {yˆ, y − yˆ} será un conjunto ortogonal. Como comprobación, calcule yˆ ·(y − yˆ) = 8 · −1 = −8 + 8 = 0 ❙❙❙❙❘❙❙❙❙❚ 4 2 x2 y 6 L = Gen{u} 3 yˆ y – yˆ u x1 18 FIGURA 3 La proyección ortogonal de y sobre una línea L que pasa por el origen. Dado que en la figura 3 el segmento de línea entre y y yˆ es perpendicular a L, gracias a la estructuración de yˆ, el punto identificado con yˆ es el punto de L más cercano a y. (Es posible demostrar lo anterior mediante geometría. Se supondrá esto ahora para R2 y se probará para Rn en la sección 6.3.) EJEMPLO 4 Encuentre la distancia de y a L en la figura 3.

388 Capítulo 6 Ortogonalidad y mínimos cuadrados Solución La distancia de y a L es la longitud del segmento de línea perpendicular que va desde y hasta la proyección ortogonal yˆ. Esta longitud es igual a la longitud de y − yˆ. Entonces la distancia es √ (−1)2 + 22 = 5 y − yˆ ❙❙❙❙❘❙❙❙❙❚ Una interpretación geométrica del teorema 5 La fórmula para la proyección ortogonal yˆ en (2) tiene la misma apariencia que cada uno de los términos del teorema 5. Así, el teorema 5 descompone un vector y en una suma de proyecciones ortogonales sobre subespacios unidimensionales. Es fácil visualizar el caso en que W = R2 = Gen{u1, u2}, siendo u1 y u2 ortogona- les. Cualquier y en R2 puede escribirse en la forma y = y · u1 u1 + y · u2 u2 (3) u1 · u1 u2 · u2 El primer término que aparece en (3) es la proyección de y sobre el subespacio generado por u1 (la línea que pasa por u1 y el origen), y el segundo término es la proyección de y sobre el subespacio generado por u2. De manera que (3) expresa a y como la suma de sus proyecciones sobre los ejes (ortogonales) determinados por u1 y u2. Vea la figura 4. u2 yˆ2 = proyección sobre u2 y 0 yˆ1 = proyección sobre u1 u1 FIGURA 4 Un vector descompuesto en la suma de dos proyecciones. El teorema 5 descompone cada y de Gen{u1, . . . , up} en la suma de p proyecciones sobre los subespacios unidimensionales que son mutuamente ortogonales. Descomposición de una fuerza en fuerzas componentes En física, la descomposición de la figura 4 puede ocurrir cuando algún tipo de fuerza es aplicado a un objeto. Al seleccionarse un sistema de coordenadas apropiado, la fuerza

6.2 Conjuntos ortogonales 389 se representa mediante un vector y en R2 o R3. Es común que en el problema intervenga alguna dirección de interés particular, la cual se representa con otro vector u. Por ejem- plo, si el objeto se mueve en línea recta cuando se aplica la fuerza, el vector u podría apuntar en la dirección del movimiento, como en la figura 5. Un paso clave del problema consiste en descomponer la fuerza en una componente que vaya en dirección de u y otra componente que sea ortogonal a u. Los cálculos serían análogos a los efectuados antes en el ejemplo 3. y u FIGURA 5 Conjuntos ortonormales Un conjunto {u1, . . . , up} es un conjunto ortonormal si es un conjunto ortogonal de vectores unitarios. Si W es el subespacio generado por un conjunto de este tipo, entonces {u1, . . . , up} es una base ortonormal para W, puesto que el conjunto es, de manera automática, linealmente independiente, según el teorema 4. El ejemplo más sencillo de un conjunto ortonormal es la base estándar {e1, . . . , en} para Rn. Cualquier subconjunto no vacío de {e1, . . . , en} también es ortonormal. A continuación se presenta un ejemplo más complicado. EJEMPLO 5 Muestre que {v1, v2, v3} es una base ortonormal de R3, donde ⎡√⎤ ⎡ √⎤ ⎡ √⎤ 3/√11 −1/√6 −1/√66 v1 = ⎣ 1/√11 ⎦ , v2 = ⎣ 2/√6 ⎦ , v3 = ⎣ −4/√66 ⎦ 1/ 11 1/ 6 7/ 66 Solución Calcule √√√ v1 ·v2 = −3/√66 + 2/ √66 + 1/ 6√6 = 0 v1 ·v3 = −3√/ 726 − 4√/ 726 + 7√/ 726 = 0 v2 ·v3 = 1/ 396 − 8/ 396 + 7/ 396 = 0 Entonces {v1, v2, v3} es un conjunto ortogonal. También, v1 ·v1 = 9/11 + 1/11 + 1/11 = 1 v2 ·v2 = 1/6 + 4/6 + 1/6 = 1 v3 ·v3 = 1/66 + 16/66 + 49/66 = 1

390 Capítulo 6 Ortogonalidad y mínimos cuadrados x3 lo cual muestra que v1, v2 y v3 son vectores unitarios. Entonces {v1, v2, v3} es un conjun- to ortonormal. Como el conjunto es linealmente independiente, sus tres vectores forman una base para R3. Vea la figura 6. ❙❙❙❙❘❙❙❙❙❚ v3 Cuando los vectores de un conjunto ortogonal se normalizan para tener una lon- gitud unitaria, los nuevos vectores siguen siendo ortogonales, y, por lo tanto, el nuevo v1 v2 conjunto será un conjunto ortonormal. Vea el ejercicio 32. Resulta fácil comprobar que los vectores de la figura 6 (ejemplo 5) son simplemente los vectores unitarios en las x1 x2 direcciones de los vectores de la figura 1 (ejemplo 1). Las matrices cuyas columnas forman un conjunto ortonormal son importantes en FIGURA 6 aplicaciones y en algoritmos de computadora para cálculos con matrices. Sus propieda- des principales se presentan en los teoremas 6 y 7. T E O R E M A 6 Una matriz U de m × n tiene columnas ortonormales si, y sólo si, UTU = I. DEMOSTRACIÓN Para simplificar la notación, se supone que U tiene sólo tres colum- nas, y cada columna un vector en Rm. La demostración del caso general es esencialmen- te la misma. Sea U = [u1 u2 u3] y calcule U TU = ⎡ uT1 ⎤ u2 u3 ] = ⎡ u1T u1 u1T u2 uT1 u3 ⎤ (4) ⎣⎢ uT2 ⎦⎥[ u1 ⎣⎢ u2T u1 uT2 u2 u2T u3 ⎥⎦ u3T uT3 u1 u3T u2 u3T u3 Las entradas de la matriz situada a la derecha son productos interiores, usando notación transpuesta. Las columnas de U son ortogonales si, y sólo si, uT1 u2 = uT2 u1 = 0, uT1 u3 = u3T u1 = 0, uT2 u3 = uT3 u2 = 0 (5) Las columnas de U son todas de longitud unitaria si, y sólo si, uT1 u1 = 1, u2T u2 = 1, uT3 u3 = 1 (6) El teorema se deriva inmediatamente de las ecuaciones (4) a (6). Q TEOREMA 7 Sea U una matriz de m × n con columnas ortonormales, y sean x y y vectores en Rn. Entonces a. Ux = x b. (Ux) · (Uy) = x · y c. (Ux) · (Uy) = 0 si, y sólo si, x · y = 0 Las propiedades (a) y (c) postulan que la función lineal x → Ux conserva longi- tudes y ortogonalidad. Estas propiedades son cruciales para muchos algoritmos de computadora. Para la demostración del teorema 7, vea el ejercicio 25.

6.2 Conjuntos ortogonales 391 ⎡√ ⎤ √ 1/√2 2/3 EJEMPLO 6 Sean U = ⎣ 1/ 2 −2/3 ⎦ y x = 2 . Observe que U tiene colum- 3 0 1/3 nas ortonormales y √ √ ⎡√ ⎤ UTU = 1/ 2 1/ 2 1/√2 2/3 2/3 −2/3 0 ⎣ 1/ 2 −2/3 ⎦ = 1 0 1/3 0 1 0 1/3 Verifique si Ux = x . Solución ⎡√ ⎤ √ ⎡⎤ 1/√2 2/3 2 3 U x = ⎣ 1/ 2 −2/3 ⎦ 3 = ⎣ −1 ⎦ 0 1/3 1 √√ ❙❙❙❙❘❙❙❙❙❚ U x √9 + 1 + 1√= 11 x 2 + 9 = 11 Los teoremas 6 y 7 resultan particularmente útiles cuando se aplican a matrices cua- dradas. Una matriz ortogonal es una matriz U cuadrada invertible tal que U−1 = UT. De acuerdo con el teorema 6, una matriz de este tipo tiene columnas ortonormales.1 Resulta fácil advertir que cualquier matriz cuadrada con columnas ortonormales es una matriz ortogonal. De manera sorpresiva, tal matriz también debe tener filas ortonormales. Vea los ejercicios 27 y 28. En el capítulo 7, las matrices ortogonales se usarán ampliamente. EJEMPLO 7 La matriz ⎡√ √ √⎤ 3/√11 −1/√6 −1/√66 U = ⎣ 1/√11 2/√6 −4/√66 ⎦ 1/ 11 1/ 6 7/ 66 es una matriz ortogonal porque es cuadrada y sus columnas son ortonormales, según el ejemplo 5. Verifique si también las filas son ortonormales. ❙❙❙❙❘❙❙❙❙❚ PROBLEMAS DE PRÁCTICA √√ −1/√5 2/√5 1. Sean u1 = 2/ 5 , u2 = 1/ 5 . Muestre que {u1, u2} es una base ortonormal para R2. 2. Sean y y L como en el ejemplo 3 y la figura 3. Determine la proyección ortogonal yˆ de y sobre L usando u = 2 en lugar de la u del ejemplo 3. 1 √ −3 2 3. Sean U y x como en el ejemplo 6, y sea y = 6 . Verifique que Ux · Uy = x · y. 1Un mejor nombre podría ser matriz ortonormal; incluso es posible encontrarse con este término en algunos textos de estadística. Sin embargo, en álgebra lineal, el término estándar es matriz ortogonal.

392 Capítulo 6 Ortogonalidad y mínimos cuadrados 6.2 EJERCICIOS En los ejercicios 1 a 6, determine cuáles conjuntos de vectores 16. Sea y = −3 y u= 1 . Determine la distancia de y a la 9 2 son ortogonales. ⎡ ⎤⎡ ⎤⎡ ⎤ ⎡ ⎤⎡ ⎤⎡ ⎤ línea que pasa por u y el origen. −1 5 3 1 0 −5 1. ⎣ 4 ⎦, ⎣ 2 ⎦, ⎣ −4 ⎦ 2. ⎣ −2 ⎦, ⎣ 1 ⎦, ⎣ −2 ⎦ En los ejercicios 17 a 22, determine cuáles conjuntos de vectores −3 1 −7 12 1 son ortonormales. Si un conjunto es solamente ortogonal, norma- ⎡ ⎤⎡ ⎤⎡ ⎤ ⎡ ⎤⎡ ⎤⎡ ⎤ 2 −6 3 20 4 lice los vectores para producir un conjunto ortonormal. 3. ⎣ −7 ⎦, ⎣ −3 ⎦, ⎣ 1 ⎦ 4. ⎣ −5 ⎦, ⎣ 0 ⎦, ⎣ −2 ⎦ ⎡ ⎤⎡ ⎤ ⎡ ⎤⎡ ⎤ 1/3 −1/2 00 −1 9 −1 −3 0 6 17. ⎣ 1/3 ⎦, ⎣ 0 ⎦ 18. ⎣ 1 ⎦, ⎣ −1 ⎦ ⎡ ⎤⎡ ⎤⎡ ⎤ ⎡ ⎤⎡ ⎤⎡ ⎤ 3 −1 3 5 −4 3 1/3 1)2 00 5. ⎢⎢⎣ −2 ⎥⎦⎥, ⎢⎣⎢ 3 ⎥⎥⎦, ⎢⎢⎣ 8 ⎥⎥⎦ 6. ⎢⎢⎣ −4 ⎥⎦⎥, ⎢⎢⎣ 1 ⎥⎥⎦, ⎣⎢⎢ 3 ⎥⎥⎦ −.6 .8 ⎡ ⎤⎡ ⎤ 1 −3 7 0 −3 5 .8 .6 −2/3 1/3 19. , 3 40 3 8 −1 20. ⎣ 1/3 ⎦, ⎣ 2/3 ⎦ 2/3 0 En los ejercicios 7 a 10, muestre que {u1, u2} o {u1, u2, u3} es una ⎡ √ ⎤⎡ √ ⎤⎡ 0√ ⎤ base ortogonal para R2 o R3, respectivamente. Después exprese x 1/√10 3/√10 −1/√2 21. ⎣ 3/√20 ⎦, ⎣ −1/√20 ⎦, ⎣ ⎦ como una combinación lineal de las u. 3/ 20 −1/ 20 1/ 2 ⎡ √ ⎤⎡ √ ⎤⎡ −2/3 ⎤ 2 6 9 1/√18 1/ 2 1/3 7. u1 = −3 , u2 = 4 ,x= −7 22. ⎣ 4/√18 ⎦, ⎣ 0√ ⎦, ⎣ ⎦ 1/ 18 −2/3 3 −2 −6 −1/ 2 1 6 3 8. u1 = , u2 = ,x= En los ejercicios 23 y 24, todos los vectores están en Rn. Señale cada enunciado como verdadero o falso. Justifique sus respuestas. ⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤ 1 −1 2 8 9. u1 = ⎣ 0 ⎦, u2 = ⎣ 4 ⎦, u3 = ⎣ 1 ⎦, y x = ⎣ −4 ⎦ 23. a. No todo conjunto linealmente independiente en Rn es un conjunto ortogonal. 1 1 −2 −3 b. Si y es una combinación lineal de vectores diferentes de ⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤ cero a partir de un conjunto ortogonal, entonces los pe- 3 2 1 5 sos de la combinación lineal pueden calcularse sin aplicar operaciones por fila sobre una matriz. 10. u1 = ⎣ −3 ⎦, u2 = ⎣ 2 ⎦, u3 = ⎣ 1 ⎦, y x = ⎣ −3 ⎦ c. Si los vectores de un conjunto ortogonal de vectores di- 0 −1 4 1 ferentes de cero se normalizan, entonces puede ser que algunos de los nuevos vectores no sean ortogonales. 11. Determine la proyección ortogonal de 1 sobre la línea que 7 d. Una matriz con columnas ortonormales es una matriz or- togonal. pasa por −4 y el origen. 2 e. Si L es una línea que pasa por 0 y si yˆ es la proyección ortogonal de y sobre L, entonces yˆ proporciona la dis- 12. Determine la proyección ortogonal de 1 sobre la línea tancia de y a L. −1 24. a. No todo conjunto ortogonal en Rn es linealmente indepen- −1 diente. que pasa por 3 y el origen. b. Si un conjunto S = {u1, . . . , up} tiene la propiedad de que 13. Sea y = 2 y u= 4 . Escriba y como la suma de dos ui · uj = 0 siempre que i j, entonces S es un conjunto 3 −7 ortonormal. vectores ortogonales, uno en Gen{u} y otro ortogonal a u. c. Si las columnas de una matriz A de m × n son ortonorma- les, entonces la función lineal x → Ax conserva las longi- 14. Sea y = 2 yu= 7 . Escriba y como la suma de un vec- tudes. 6 1 d. La proyección ortogonal de y sobre v es la misma que la tor en Gen{u} y un vector ortogonal a u. proyección ortogonal de y sobre cv siempre que c 0. 15. Sea y = 3 y u= 8 . Determine la distancia de y a la e. Una matriz ortogonal es invertible. 1 6 línea que pasa por u y el origen.

6.2 Conjuntos ortogonales 393 25. Demuestre el teorema 7. [Sugerencia: Para (a), calcule Ux 2, x2 y o demuestre primero (b).] y – yˆ L = Gen{u} yˆ 26. Suponga que W es un subespacio de Rn generado por n vec- tores ortogonales diferentes de cero. Explique por qué W = u reflL y Rn. x1 27. Sea U una matriz cuadrada con columnas ortonormales. Ex- plique por qué U es invertible. (Mencione los teoremas que yˆ – y utilice.) La reflexión de y en una línea que pasa por el 28. Sea U una matriz ortogonal de n × n. Demuestre que las filas origen. de U forman una base ortonormal de Rn. 35. [M] Mediante un cálculo matricial adecuado, muestre que las 29. Sean U y V matrices ortogonales. Explique por qué UV es una columnas de la matriz A son ortogonales. Especifique el cálcu- matriz ortogonal. [Es decir, explique por qué UV es invertible lo que utilice. y su inverso es (UV)T.] ⎡ −6 −3 ⎤ 30. Sea U una matriz ortogonal, y construya V al intercambiar 2 61 algunas de las columnas de U. Explique por qué V es orto- 6 gonal. A = ⎢⎢⎢⎢⎢⎢⎢⎢⎣⎢⎢ −1 1 −6 ⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥ 3 −3 3 −2 31. Demuestre que la proyección ortogonal de un vector y sobre 6 −1 6 −1 una línea L que pasa por el origen en R2 no depende de la elec- 2 2 ción del u en L diferente de cero usado en la fórmula para yˆ. 6 3 3 Para hacer esto, suponga que y y u están dados y que yˆ se ha −3 −1 2 2 calculado mediante la fórmula (2) de esta sección. Reemplace −2 −3 u en esa fórmula por cu, donde c es un escalar diferente de cero no especificado. Demuestre que la nueva fórmula pro- 1216 porciona el mismo yˆ. 36. [M] En los incisos (a) a (d), sea U la matriz formada al nor- 32. Sea {v1, v2} un conjunto ortogonal de vectores diferentes malizar cada columna de la matriz A en el ejercicio 35. de cero, y c1 y c2 cualesquiera escalares diferentes de cero. Muestre que {c1v1, c2v2} también es un conjunto ortogonal. a. Calcule UTU y UUT. ¿En qué difieren? Como la ortogonalidad de un conjunto se define en términos de pares de vectores, esto demuestra que si los vectores de un b. Genere un vector y aleatorio en R8 y calcule p = UUTy y conjunto ortogonal se normalizan, el conjunto nuevo seguirá z = y − p. Explique por qué p está en Col A. Verifique si siendo ortogonal. z es ortogonal a p. 33. Dado u 0 en Rn, sea L = Gen{u}. Muestre que la función c. Compruebe que z es ortogonal a cada columna de U. x → projL x es una transformación lineal. d. Observe que y = p + z, con p en Col A. Explique por qué 34. Dado que u 0 en Rn, sea L = Gen{u}. Para y en Rn, la re- z está en (Col A)⊥. (La importancia de esta descomposi- flexión de y en L es el punto reflL y definido mediante ción de y se explicará en la siguiente sección.) reflL y = 2 · proyL y − y. Vea la figura, la cual muestra que reflL y es la suma de yˆ = proyL y y yˆ − y. Muestre que la función y → reflL y es una transformación lineal. SOLUCIONES A LOS PROBLEMAS DE PRÁCTICA 1. Los vectores son ortogonales porque u1 · u2 = −2/5 + 2/5 = 0 Son vectores unitarios porque √√ u1 2 = (−1√/ 5)2 + (2√/ 5)2 = 1/5 + 4/5 = 1 u2 2 = (2/ 5)2 + (1/ 5)2 = 4/5 + 1/5 = 1

394 Capítulo 6 Ortogonalidad y mínimos cuadrados En particular, el conjunto {u1, u2} es linealmente independiente, y, por lo tanto, una base para R2 puesto que hay dos vectores en el conjunto. 2. Cuando y = 7 yu= 2 , 6 1 yˆ = y·u u = 20 2 =4 2 = 8 u·u 5 1 1 4 Éste es el mismo yˆ que se encontró en el ejemplo 3. La proyección ortogonal parece depender del u que se elija en la línea. Vea el ejercicio 31. ⎡√ ⎤ √ ⎡⎤ 1/√2 2/3 −3 2 1 3. U y = ⎣ 1/ 2 −2/3 ⎦ 6 = ⎣ −7 ⎦ 0 1/3 2 SG Dominio de bases También, a partir del ejemplo 6, x = √ ⎡⎤ ortogonales 6 a 4 2 3 (Mastering: Orthogonal 3 Bases 6-4) y U x = ⎣ −1 ⎦. Por lo tanto, 1 U x·U y = 3 + 7 + 2 = 12, y x·y = −6 + 18 = 12 6.3 PROYECCIONES ORTOGONALES y Las proyecciones ortogonales de un punto en R2 sobre una línea que pasa por el origen tienen un importante análogo en Rn. Dado un vector y y un subespacio W en Rn, existe 0 yˆ un vector yˆ en W tal que (1) yˆ es el único vector de W para el cual yˆ − y es ortogonal a W, W y (2) yˆ es el vector único de W más cercano a y. Vea la figura 1. Estas dos propiedades de yˆ proporcionan la clave para encontrar soluciones a sistemas lineales mediante mínimos cuadrados, y se mencionaron en el ejemplo introductorio de este capítulo. La historia completa será conocida en la sección 6.5. Como preparación para el primer teorema, se observa que siempre que un vector y se escriba como una combinación de vectores u1, . . . , un en una base de Rn, los térmi- nos de la suma para y podrán agruparse en dos partes de manera que y pueda escribirse como FIGURA 1 y = z1 + z2 donde z1 es una combinación lineal de algunos de los ui y z2 es una combinación lineal del resto de los ui. Esta idea resulta útil sobre todo cuando {u1, . . . , un} es una base or- togonal. De la sección 6.1, recuerde que W⊥ denota el conjunto de todos los vectores ortogonales a un subespacio W. EJEMPLO 1 Sea {u1, . . . , u5} una base ortogonal para R5 y sea y = c1u1 + · · · + c5u5 Considere el subespacio W = Gen{u1, u2}, y escriba y como la suma de un vector z1 en W y un vector z2 en W⊥.

6.3 Proyecciones ortogonales 395 Solución Escriba y = c1u1 + c2u2 + c3u3 + c4u4 + c5u5 z1 z2 donde z1 = c1u1 + c2u2 está en Gen {u1, u2} y z2 = c3u3 + c4u4 + c5u5 está en Gen {u3, u4, u5}. Para mostrar que z2 está en W⊥, basta con probar que z2 es ortogonal a los vectores de la base {u1, u2} para W. (Vea la sección 6.1.) Utilice las propiedades del producto interior para calcular z2 ·u1 = (c3u3 + c4u4 + c5u5)·u1 = c3u3 · u1 + c4u4 · u1 + c5u5 · u1 =0 porque u1 es ortogonal a u3, u4 y u5. Un cálculo semejante muestra que z2 · u2 = 0. En- tonces z2 está en W⊥. ❙❙❙❙❘❙❙❙❙❚ El teorema siguiente muestra que la descomposición y = z1 + z2 del ejemplo 1 pue- de calcularse sin tener una base ortogonal para Rn. Basta con tener una base ortogonal sólo para W. TEOREMA 8 El teorema de la descomposición ortogonal Sea W un subespacio de Rn. Entonces toda y en Rn puede escribirse únicamente en la forma y = yˆ + z (1) donde yˆ está en W y z en W⊥. De hecho, si {u1, . . . , up} es cualquier base orto- gonal de W, entonces yˆ = y · u1 u1 + · · · + y · up up (2) u1 · u1 up · up y z = y − yˆ. El vector yˆ de (1) es la proyección ortogonal de y sobre W y a menudo se escribe como proyW y. Vea la figura 2. Cuando W es un subespacio unidimensional, la fórmula para yˆ corresponde a la fórmula dada en la sección 6.2. z = y – yˆ y 0 yˆ = proyWy W FIGURA 2 La proyección ortogonal de y sobre W.

396 Capítulo 6 Ortogonalidad y mínimos cuadrados DEMOSTRACIÓN Sea {u1, . . . , up} una base ortogonal para W y defina yˆ mediante (2).1 Entonces yˆ está en W porque yˆ es una combinación lineal de la base u1, . . . , up. Sea < z = y − yˆ. Como u1 es ortogonal a u2, . . . , up se deduce a partir de (2) que z·u1 = (y − yˆ)·u1 = y·u1 − y · u1 u1 · u1 − 0 − · · · − 0 u1 · u1 = y·u1 − y·u1 = 0 Entonces z es ortogonal a u1. De manera semejante, z es ortogonal a cada uj en la base para W. Por lo tanto, z es ortogonal a todo vector de W. Es decir, z está en W⊥. Para mostrar que la descomposición en (1) es única, suponga que y también puede escribirse como y = yˆ1 + z1, con yˆ1 en W y z1 en W⊥. Entonces yˆ + z = yˆ1 + z1 (puesto que ambos lados son iguales a y), y por ende yˆ − yˆ1 = z1 − z Esta igualdad muestra que el vector v = yˆ − yˆ1 está en W y en W⊥ (porque tanto z1 como z están en W⊥ y W⊥ es un subespacio). Por lo tanto, v · v = 0, lo cual muestra que v = 0. Esto demuestra que yˆ = yˆ1 y que z1 = z. Q La unicidad de la descomposición (1) muestra que la proyección ortogonal yˆ depen- de sólo de W y no de la base específica utilizada en (2). ⎡⎤ ⎡⎤ ⎡⎤ 2 −2 1 EJEMPLO 2 Sean u1 = ⎣ 5 ⎦, u2 = ⎣ 1 ⎦, y = ⎣ 2 ⎦. Observe que {u1, u2} es −1 1y 3 una base ortogonal para W = Gen{u1, u2}. Escriba y como la suma de un vector en W y un vector ortogonal a W. Solución La proyección ortogonal de y sobre W es yˆ = y · u1 u1 + y · u2 u2 u1 ·⎡u1 ⎤ u2 ·⎡u2 ⎤ ⎡⎤ ⎡ ⎤⎡ −2/5 ⎤ 2 −2 2 −2 2 = 9⎣ 5 ⎦ + 3⎣ 1 ⎦ = 9 ⎣ 5 ⎦ + 15 ⎣ 1 ⎦ = ⎣ ⎦ 30 −1 6 1 30 −1 30 1 1/5 También ⎡⎤ ⎡ ⎤⎡ ⎤ 1 −2/5 7/5 y − yˆ = ⎣ 2 ⎦ − ⎣ 2 ⎦ = ⎣ 0 ⎦ 3 1/5 14/5 El teorema 8 asegura que y − yˆ está en W⊥. Sin embargo, para comprobar los cálcu- los, es buena idea verificar que y − yˆ es ortogonal tanto a u1 como a u2 y, por lo tanto, a 1Puede suponerse que W no es el subespacio cero, porque de otra manera W⊥ = Rn y (1) es simplemente y = 0 + y. En la siguiente sección se demostrará que cualquier subespacio de Rn diferente de cero tiene una base ortogonal.

6.3 Proyecciones ortogonales 397 todo W. La descomposición deseada de y es ⎡⎤ ⎡ ⎤⎡ ⎤ 1 −2/5 7/5 y=⎣2⎦=⎣ 2 ⎦+⎣ 0 ⎦ ❙❙❙❙❘❙❙❙❙❚ 3 1/5 14/5 Una interpretación geométrica de la proyección ortogonal Cuando W es un subespacio unidimensional, la fórmula (2) para proyW y sólo contiene un término. Entonces, cuando dim W > 1, cada término de (2) es él mismo una proyec- ción ortogonal de y sobre un subespacio unidimensional generado por uno de los u de la base para W. En la figura 3 se ilustra esto cuando W es un subespacio de R3 generado por u1 y u2. Aquí yˆ1 y yˆ2 denotan las proyecciones de y sobre las líneas generadas por u1 y u2, respectivamente. La proyección ortogonal yˆ de y sobre W es la suma de las proyec- ciones de y sobre subespacios unidimensionales que son ortogonales entre sí. El vector yˆ de la figura 3 corresponde al vector y de la figura 4 mostrado en la sección 6.2, porque ahora es yˆ el que está en W. y u2 yˆ 2 0 yˆ = u–y1–.–.u–u1–1 u1 + u–y2–.–.u–u2–2 u2 = yˆ1 + yˆ 2 yˆ 1 u1 FIGURA 3 La proyección ortogonal de y es la suma de sus proyecciones sobre subespacios unidimensionales que son mutuamente ortogonales. Propiedades de las proyecciones ortogonales Si {u1, . . . , up} es una base ortogonal para W, y si sucede que y está en W, entonces la fórmula para proyW y es exactamente la misma que la proporcionada para la representa- ción de y en el teorema 5 de la sección 6.2. En este caso, proyW y = y. Si y está en W = Gen{u1, . . . , up}, entonces proyW y = y. Este hecho también se deriva del teorema siguiente.

398 Capítulo 6 Ortogonalidad y mínimos cuadrados TEOREMA 9 El teorema de la mejor aproximación Sean W un subespacio de Rn, y cualquier vector en Rn, y yˆ la proyección ortogonal de y sobre W. Entonces yˆ es el punto de W más cercano a y, en el sentido que y − yˆ < y − v (3) para todo v en W distinto de yˆ. El vector yˆ del teorema 9 es la mejor aproximación a y de los elementos de W. En secciones posteriores se examinarán problemas en los que un y específico debe reem- plazarse por (o “aproximarse” a) un vector v de algún subespacio fijo W. La distancia de y a v, dada por y − v , puede considerarse como el “error” de usar v en lugar de y. El teorema 9 establece que este error se minimiza cuando v = yˆ. La ecuación (3) conduce a una nueva demostración de que yˆ no depende de la base ortogonal específica usada para calcularla. De utilizarse una base ortogonal de W dife- rente para estructurar una proyección ortogonal de y, entonces esta proyección también sería el punto más cercano a y en W, a saber, yˆ. DEMOSTRACIÓN Tome v en W diferente de yˆ. Vea la figura 4. Entonces yˆ − v está en W. De acuerdo con el teorema de la descomposición ortogonal, y − yˆ es ortogonal a W. En particular, y − yˆ es ortogonal a yˆ − v (la cual está en W). Puesto que y − v = (y − yˆ) + (yˆ − v) al aplicar el teorema de Pitágoras se obtiene y − v 2 y − yˆ 2 + yˆ − v 2 (Vea el “triángulo rectángulo” sombreado que aparece en la figura 4. Se marca la longi- tud de cada lado.) Ahora yˆ − v 2 > 0 porque yˆ − v = 0, y así la desigualdad de (3) se deriva inmediatamente. Q y ||y – yˆ|| ||y – v|| yˆ 0 ||yˆ – v|| v W FIGURA 4 La proyección ortogonal de y sobre W es el punto más cercano a y en W. ⎡⎤ ⎡⎤ ⎡⎤ 2 −2 1 EJEMPLO 3 Si u1 = ⎣ 5 ⎦, u2 = ⎣ 1 ⎦, y = ⎣ 2 ⎦, y W = Gen{u1, u2}, como en −1 1 3 el ejemplo 2, entonces el punto más cercano a y en W es ⎡⎤ −2/5 yˆ = y · u1 u1 + y · u2 u2 = ⎣ 2 ⎦ ❙❙❙❙❘❙❙❙❙❚ u1 · u1 u2 · u2 1/5

6.3 Proyecciones ortogonales 399 EJEMPLO 4 La distancia desde un punto y en Rn hasta un subespacio W se define como la distancia desde y hasta el punto más cercano de W. Encuentre la distancia de y a W = Gen{u1, u2}, donde ⎡⎤ ⎡⎤ ⎡⎤ 5 1 −1 u1 = ⎣ −2 ⎦ , u2 = ⎣ 2 ⎦ y = ⎣ −5 ⎦ , 1 −1 10 Solución De acuerdo con el teorema de la mejor aproximación, la distancia desde y hasta W es y − yˆ , donde yˆ = proyW y. Puesto que {u1, u2} es una base ortogonal para W, ⎡ ⎤ ⎡ ⎤⎡ ⎤ 5 1 −1 yˆ = 15 + −21 = 1⎣ −2 ⎦ − 7⎣ 2 ⎦ = ⎣ −8 ⎦ 30 u1 6 u2 2 2 −1 1 4 ⎡ ⎤ ⎡ ⎤ ⎡⎤ −1 −1 0 y − yˆ = ⎣ −5 ⎦ − ⎣ −8 ⎦ = ⎣ 3 ⎦ 10 4 6 y − yˆ 2 = 32 + 62 = 45 ❙❙❙❙❘❙❙❙❙❚ √√ La distancia de y a W es 45 = 3 5. El teorema final de la sección muestra cómo la fórmula (2) para proyW y se simpli- fica cuando la base para W es un conjunto ortonormal. T E O R E M A 10 Si {u1, . . . , up} es una base ortonormal para un subespacio W de Rn, entonces proyW y = (y·u1)u1 + (y·u2)u2 + · · · + (y·up)up (4) Si U = [u1 u2 · · · up], entonces proyW y = U U Ty para toda y en Rn (5) DEMOSTRACIÓN La fórmula (4) es consecuencia inmediata de (2). (4) muestra también que proyW y es una combinación lineal de las columnas de U usando los pesos y·u1, y·u2, . . . , y · up. Los pesos se pueden escribir como uT1 y, uT2 y, . . . , upT y, mostrando que son las entradas de UTy y justificando (5). Q CD La matriz de proyección Suponga que U es de n × p con columnas ortonormales, y sea W el espacio de co- (The Projection Matrix) lumnas de U. Entonces U TU x = Ipx = x para toda x en Rp Teorema 6 U U Ty = proyW y para toda y en Rn Teorema 10 Si U es una matriz (cuadrada) de n × n con columnas ortonormales, entonces es una ma- triz ortogonal, el espacio columna W es todo Rn, y UUTy = Iy = y para toda y en Rn. Aunque la fórmula (4) es importante para propósitos teóricos, en la práctica re- quiere usualmente de cálculos con raíces cuadradas de números (en las entradas de ui). Se recomienda la fórmula (2) para efectuar cálculos a mano.

400 Capítulo 6 Ortogonalidad y mínimos cuadrados PROBLEMA DE PRÁCTICA ⎡⎤ ⎡⎤ ⎡⎤ −7 −1 −9 Sean u1 = ⎣ 1 ⎦, u2 = ⎣ 1 ⎦, y = ⎣ 1 ⎦, y W = Gen{u1, u2}. Utilice el hecho de 4 −2 6 que u1 y u2 son ortogonales para calcular proyW y. 6.3 EJERCICIOS En los ejercicios 1 y 2, puede suponerse que {u1, . . . , u4} es una ⎡⎤ ⎡⎤ ⎡⎤ base ortogonal para R4. 6 −4 0 6. y = ⎣ 4 ⎦, u1 = ⎣ −1 ⎦, u2 = ⎣ 1 ⎦ ⎡⎤ ⎡⎤ ⎡ ⎤ ⎡⎤ 1 11 u3 = ⎣⎢⎢ 0 3 1 5 1. u1 = ⎢⎣⎢ 1 ⎥⎦⎥, u2 = ⎢⎣⎢ 5 ⎥⎦⎥, 0 ⎥⎥⎦, u4 = ⎣⎢⎢ −3 ⎥⎥⎦, En los ejercicios 7 a 10, sea W el subespacio generado por los −4 1 1 −1 u’s, y escriba a y como la suma de un vector en W y un vector −1 1 −4 1 ortogonal a W. ⎡⎤ 10 ⎡⎤ ⎡⎤ ⎡⎤ 1 1 5 ⎣⎢⎢ −8 ⎦⎥⎥. x = 2 Escriba x como la suma de dos vectores, uno en 7. y = ⎣ 3 ⎦, u1 = ⎣ 3 ⎦, u2 = ⎣ 1 ⎦ 0 5 −2 4 Gen{u1, u2, u3} y el otro en Gen{u4}. ⎡⎤ ⎡⎤ ⎡⎤ −1 1 −1 ⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤ 8. y = ⎣ 4 ⎦, u1 = ⎣ 1 ⎦, u2 = ⎣ 3 ⎦ 1 −2 1 −1 3 1 −2 ⎢⎢⎣ ⎥⎦⎥, ⎢⎢⎣ ⎥⎥⎦, ⎢⎢⎣ ⎦⎥⎥, u4 = ⎢⎢⎣ ⎥⎥⎦, 2. u1 = 2 u2 = 1 u3 = 1 1 ⎡ ⎤ ⎡⎤ ⎡ ⎤ ⎡ ⎤ 1 −1 −2 1 9. y = ⎣⎢⎢ 4 1 −1 −1 ⎥⎥⎦, ⎢⎢⎣ ⎦⎥⎥, ⎢⎢⎣ ⎥⎦⎥, ⎢⎣⎢ ⎥⎥⎦ 1 1 −1 −2 3 u1 = 1 u2 = 3 u3 = 0 ⎡⎤ 3 0 1 1 4 −1 1 −2 1 v = ⎢⎢⎣ 5 ⎦⎥⎥. Escriba v como la suma de dos vectores, uno ⎡⎤ ⎡ ⎤ ⎡⎤ ⎡ ⎤ −3 3 11 0 3 10. y = ⎢⎣⎢ 4 ⎥⎥⎦, u1 = ⎢⎢⎣ 1 ⎦⎥⎥, u2 = ⎢⎣⎢ 0 ⎥⎥⎦, u3 = ⎢⎣⎢ −1 ⎥⎦⎥ 5 0 1 1 en Gen{u1} y el otro en Gen{u2, u3, u4}. 6 −1 1 −1 En los ejercicios 3 a 6, compruebe que {u1, u2} es un conjunto En los ejercicios 11 y 12, encuentre el punto más cercano a y en el ortogonal, y después encuentre la proyección ortogonal de y sobre subespacio W generado por v1 y v2. Gen{u1, u2}. ⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤ −1 1 −1 331 3. y = ⎣ 4 ⎦, u1 = ⎣ 1 ⎦, u2 = ⎣ 1 ⎦ 11. y = ⎣⎢⎢ 1 ⎥⎥⎦, v1 = ⎢⎢⎣ 1 ⎥⎥⎦, v2 = ⎣⎢⎢ −1 ⎥⎥⎦ 5 −1 1 30 0 1 1 −1 ⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤ 6 3 −4 3 1 −4 4. y = ⎣ 3 ⎦, u1 = ⎣ 4 ⎦, u2 = ⎣ 3 ⎦ 12. y = ⎢⎢⎣ −1 ⎦⎥⎥, v1 = ⎢⎣⎢ −2 ⎥⎦⎥, v2 = ⎢⎣⎢ 1 ⎦⎥⎥ 1 −1 0 −2 0 0 ⎡⎤ ⎡⎤ ⎡⎤ 13 2 3 −1 3 1 5. y = ⎣ 2 ⎦, u1 = ⎣ −1 ⎦, u2 = ⎣ −1 ⎦ En los ejercicios 13 y 14, encuentre la mejor aproximación a z mediante vectores de la forma c1v1 + c2v2. 6 2 −2

6.3 Proyecciones ortogonales 401 ⎡⎤ ⎡⎤ ⎡ ⎤ 21. a. Si z es ortogonal a u1 y a u2 y si W = Gen{u1, u2}, enton- 32 1 ces z debe estar en W⊥. 13. z = ⎢⎢⎣ −7 ⎦⎥⎥, v1 = ⎢⎣⎢ −1 ⎥⎥⎦, v2 = ⎢⎢⎣ 1 ⎦⎥⎥ b. Para cada y y cada subespacio W, el vector y − proyW y es 2 −3 0 ortogonal a W. 3 1 −1 c. La proyección ortogonal yˆ de y sobre un subespacio W puede depender a veces de la base ortogonal para W usada ⎡ ⎤ ⎡⎤ ⎡⎤ al calcular yˆ . 14. z = ⎢⎣⎢ 225 d. Si y está en un subespacio W, entonces la proyección orto- 4 ⎦⎥⎥, v1 = ⎢⎣⎢ 0 ⎦⎥⎥, v2 = ⎢⎢⎣ −2 ⎥⎥⎦ gonal de y sobre W es y misma. 0 −1 4 e. Si las columnas de una matriz U de n × p son ortonorma- −1 −3 2 les, entonces UUT y es la proyección ortogonal de y sobre el espacio de columnas de U. ⎡⎤ ⎡⎤ ⎡⎤ 5 −3 −3 22. a. Si W es un subespacio de Rn, y si v está en W y en W⊥, entonces v debe ser el vector cero. 15. Sea y = ⎣ −9 ⎦, u1 = ⎣ −5 ⎦, u2 = ⎣ 2 ⎦. Encuentre la b. En el teorema de la descomposición ortogonal, cada tér- 511 mino de la fórmula (2) para yˆ es, él mismo, una proyec- ción ortogonal de y sobre un subespacio de W. distancia de y al plano en R3 generado por u1 y u2. c. Si y = z1 + z2, donde z1 está en un subespacio W y z2 está 16. Sean y, v1 y v2 como en el ejercicio 12. Encuentre la distancia en W⊥, entonces z1 debe ser la proyección ortogonal de y de y al subespacio de R4 generado por v1 y v2. sobre W. ⎡⎤ ⎡⎤ ⎡⎤ d. La mejor aproximación a y con los elementos de un subes- 4 2/3 −2/3 pacio W está dada por el vector y − proyW y. 17. Sean y = ⎣ 8 ⎦, u1 = ⎣ 1/3 ⎦, u2 = ⎣ 2/3 ⎦, y e. Si una matriz U de n × p tiene columnas ortonormales, entonces UUTx = x para toda x en Rn. 1 2/3 1/3 23. Sea A una matriz de m × n. Demuestre que todo vector x en y W = Gen{u1, u2}. Rn puede escribirse en la forma x = p + u, donde p está en Fil A y u en Nul A. También, muestre que si la ecuación a. Sea U = [u1 u2]. Calcule UTU y UUT. Ax = b es consistente, entonces hay una p única en Fil A tal que Ap = b. b. Calcule proyW y y (UUT)y. 24. Sea W un subespacio de Rn con una base ortogonal {w1, . . . , 7 √ wp}, y sea {v1, . . . , vq} una base ortogonal para W⊥. 9 1/√10 18. Sean y = , u1 = −3/ 10 , y W = Gen{u1}. a. Explique porqué {w1, . . . , wp, v1, . . . , vq} es un conjunto ortogonal. a. Sea U la matriz de 2 × 1 cuya única columna es u1. Calcu- le UTU y UUT. b. Explique por qué el conjunto de la parte (a) genera Rn. b. Calcule proyW y y (UUT)y. c. Demuestre que dim W + dim W⊥ = n. ⎡⎤ ⎡⎤ ⎡⎤ 25. [M] Sea U la matriz de 8 × 4 del ejercicio 36 presentado en 1 5 0 la sección 6.2. Encuentre el punto más cercano a y = (1, 1, 1, 1, 1, 1, 1, 1) en Col U. Escriba los comandos o pulsaciones de 19. Sean u1 = ⎣ 1 ⎦, u2 = ⎣ −1 ⎦, y u3 = ⎣ 0 ⎦. Observe que tecla que utilice para resolver este problema. −2 2 1 26. [M] Sea U la matriz del ejercicio 25. Encuentre la distancia de b = (1, 1, 1, 1, −1, −1, −1, −1) a Col U. u1 y u2 son ortogonales pero que u3 no es ortogonal a u1 ni a u2. Es posible demostrar que u3 no está en el subespacio W generado por u1 y u2. Utilice este hecho para construir un vector v diferente de cero en R3 que sea ortogonal a u1 y u2. ⎡⎤ 0 20. Sean u1 y u2 como en el ejercicio 19, y sea u4 = ⎣ 1 ⎦. Es 0 posible demostrar que u4 no está en el subespacio W genera- do por u1 y u2. Utilice este hecho para construir un vector v diferente de cero en R3 que sea ortogonal a u1 y u2. En los ejercicios 21 y 22, todos los vectores y los subespacios están en Rn. Señale cada enunciado como verdadero o falso. Jus- tifique sus respuestas.

402 Capítulo 6 Ortogonalidad y mínimos cuadrados SOLUCIÓN AL PROBLEMA DE PRÁCTICA Calcule proyW y = y · u1 u1 + y · u2 u2 = 88 + −2 u2 u1⎡· u1 ⎤ u2⎡· u2 ⎤ 6⎡6 u1 ⎤ 6 = 4⎣ −7 ⎦ − 1⎣ −1 ⎦ = ⎣ −9 ⎦ = y 1 1 1 3 4 3 −2 6 En este caso, y resulta ser una combinación lineal de u1 y u2, así que y está en W. El punto de W más cercano a y es y mismo. 6.4 EL PROCESO GRAM-SCHMIDT El proceso Gram-Schmidt es un algoritmo sencillo para producir una base ortogonal u ortonormal para cualquier subespacio diferente de cero de Rn. Los primeros dos ejem- plos del proceso están enfocados en los cálculos a mano. ⎡⎤ ⎡⎤ 31 x3 EJEMPLO 1 Sea W = Gen{x1, x2}, donde x1 = ⎣ 6 ⎦y x2 = ⎣ 2 ⎦. Construya una 02 base ortogonal {v1, v2} para W. Solución El subespacio W se muestra en la figura 1, junto con x1, x2 y la proyección p v2 de x2 sobre x1. La componente de x2 ortogonal a x1 es x2 − p, la cual está en W porque W se forma a partir de x2 y de un múltiplo de x1. Sea v1 = x1 y ⎡⎤ ⎡⎤ ⎡⎤ x2 1 3 0 0 x2 v2 = x2 − p = x2 − x2 · x1 x1 = ⎣ 2 ⎦ − 15 ⎣ 6 ⎦ = ⎣ 0 ⎦ x1 · x1 2 45 0 2 p Entonces {v1, v2} es un conjunto ortogonal de vectores diferentes de cero en W. Como x1 dim W = 2, el conjunto {v1, v2} es una base para W. ❙❙❙❙❘❙❙❙❙❚ v1 = x1 En el siguiente ejemplo se ilustra el proceso Gram-Schmidt en su totalidad. Estú- FIGURA 1 dielo con cuidado. Estructuración de una base ortogonal {v1, v2}. ⎡⎤ ⎡⎤ ⎡⎤ 100 ⎢⎣⎢ ⎥⎥⎦, ⎣⎢⎢ ⎦⎥⎥, ⎢⎢⎣ ⎥⎥⎦. EJEMPLO 2 Sean x1 = 1 x2 = 1 x3 = 0 Entonces, resulta claro que 1 1 1 111 {x1, x2, x3} es linealmente independiente y, por lo tanto, es una base para un subespacio W de R4. Estructure una base ortogonal para W. Solución Paso 1. Sean v1 = x1 y W1 = Gen{x1} = Gen{v1}.

6.4 El proceso Gram-Schmidt 403 Paso 2. Sea v2 el vector producido al restar de x2 su proyección sobre el subespacio W1. Esto es, sea v2 = x2 − proyW1 x2 · = x2 − x2 · vv⎡11 v1 Puesto que v1 = x1 ⎡ ⎤v1 ⎡⎤ 01 ⎤ −3/4 ⎣⎢⎢ ⎦⎥⎥ ⎢⎣⎢ ⎥⎥⎦ ⎢⎣⎢ ⎥⎥⎦ = 1 − 3 1 = 1/4 1 4 1 1/4 1 1 1/4 Tal como en el ejemplo 1, v2 es la componente de x2 ortogonal a x1, y {v1, v2} es una base ortogonal para el subespacio W2 generado por x1 y x2. Paso 2Ј (opcional). Si es apropiado, escale v2 para simplificar los cálculos posteriores. Como v2 tiene entradas fraccionarias, es conveniente escalarlo mediante un factor de 4 y reemplazar a {v1, v2} empleando la base ortogonal ⎡⎤ ⎡⎤ 1 −3 ⎢⎢⎣ ⎦⎥⎥ v2 = ⎢⎢⎣ ⎦⎥⎥ v1 = 1 , 1 1 1 1 1 Paso 3. Sea v3 el vector producido al restar de x3 su proyección sobre el subespacio W2. Utilice la base ortogonal {v1, vЈ2} para calcular la proyección sobre W2: Proyección de Proyección de x3 sobre v1 x3 sobre v2 ↓↓ proyW2 x3 = x3 · v1 v1 + x3 · v2 v2 v1 · v1 v2 · v2 ⎡⎤ ⎡ ⎤ ⎡ ⎤ 1 −3 0 ⎢⎢⎣ ⎥⎥⎦ ⎣⎢⎢ ⎥⎥⎦ ⎣⎢⎢ ⎥⎦⎥ = 2 1 + 2 1 = 2/3 4 1 12 1 2/3 1 1 2/3 Entonces v3 es la componente de x3 ortogonal a W2, a saber, ⎡⎤ ⎡ ⎤ ⎡ ⎤ 00 0 ⎣⎢⎢ ⎦⎥⎥ ⎢⎢⎣ ⎦⎥⎥ ⎣⎢⎢ ⎦⎥⎥ v3 = x3 − proyW2 x3 = 0 − 2/3 = −2/3 1 2/3 1/3 1 2/3 1/3 En la figura 2, vea un diagrama de esta construcción. Observe que v3 está en W, porque tanto x3 como proyW2 x3 están en W. Entonces {v1, vЈ2, v3} es un conjunto ortogonal de vectores diferentes de cero y, por lo tanto, un conjunto linealmente independiente en W. Observe que W es tridimensional, pues fue definido con una base de tres vectores. Por lo tanto, según el teorema de la base presentado en la sección 4.5, {v1, vЈ2, v3} es una base ortogonal para W. ❙❙❙❙❘❙❙❙❙❚

404 Capítulo 6 Ortogonalidad y mínimos cuadrados v3 x3 v'2 proyW2x3 0 v1 W2 = Gen{v1, v'2} FIGURA 2 Estructuración de v3 a partir de x3 y W2. La demostración del teorema siguiente pone de manifiesto que esta estrategia sí funciona. No se menciona el escalamiento de los vectores porque eso es algo que se usa únicamente para simplificar los cálculos a mano. T E O R E M A 11 El proceso Gram-Schmidt Dada una base {x1, . . . , xp} para un subespacio W de Rn, defina v1 = x1 v2 = x2 − x2 · v1 v1 v1 · v1 v3 = x3 − x3 · v1 v1 − x3 · v2 v2 v1 · v1 v2 · v2 ... vp = xp − xp · v1 v1 − xp · v2 v2 − ··· − xp · vp−1 vp−1 v1 · v1 v2 · v2 vp−1 · vp−1 Entonces {v1, . . . , vp} es una base ortogonal para W. Además Gen {v1, . . . , vk} = Gen {x1, . . . , xk} para 1 ≤ k ≤ p (1) DEMOSTRACIÓN Para i ≤ k ≤ p, sea Wk = Gen{x1, . . . , xk}. Haga v1 = x1, de manera que Gen{v1} = Gen{x1}. Suponga que, para alguna k < p, se ha construido v1, . . . , vk tal que {v1, . . . , vk} es una base ortogonal para Wk. Se define vk+1 = xk+1 − proyWk xk+1 (2) De acuerdo con el teorema de la descomposición ortogonal, vk+1 es ortogonal a Wk. Observe que proyWk xk+1 está en Wk y, por lo tanto, también está en Wk+1. Puesto que xk+1 está en Wk+1, también lo está vk+1 (porque Wk+1 es un subespacio y es cerrado bajo la resta). Más aún, vk+1 0 porque xk+1 no está en Wk = Gen{x1, . . . , xk}. De aquí que {v1, . . . , vk+1} sea un conjunto ortogonal de vectores diferentes de cero en el espacio (k + 1)-dimensional Wk+1. Según el teorema de la base presentado en la sección 4.5, este conjunto es una base ortogonal para Wk+1. Por lo tanto, Wk+1 = Gen{v1, . . . , vk+1}. Cuando k + 1 = p, el proceso se detiene. Q El teorema 11 muestra que cualquier subespacio W diferente de cero de Rn tiene una base ortogonal, porque siempre se dispone de una base ordinaria {x1, . . . , xp} (según el teorema 11 de la sección 4.5), y porque el proceso de Gram-Schmidt depende sólo de

6.4 El proceso Gram-Schmidt 405 la existencia de proyecciones ortogonales sobre subespacios de W que ya tengan bases ortogonales. Bases ortonormales Una base ortonormal se construye fácilmente a partir de una base ortogonal {v1, . . . , vp}: sólo normalice (es decir, “escale”) todas las vk. Cuando los problemas se resuelven a mano, esto resulta más sencillo que normalizar cada vk en cuanto se encuentra (porque se evita escribir raíces cuadradas innecesarias). EJEMPLO 3 En el ejemplo 1 se estructuró la base ortogonal ⎡⎤ ⎡⎤ 3 0 v1 = ⎣ 6 ⎦ , v2 = ⎣ 0 ⎦ 02 Una base ortonormal es ⎡ ⎤ ⎡ √⎤ u1 = 3 1/√5 u2 = 1 v1 = √1 ⎣ 6 ⎦ = ⎣ 2/ 5 ⎦ v1 45 0 0 ⎡⎤ 0 1 v2 = ⎣ 0 ⎦ v2 1 ❙❙❙❙❘❙❙❙❙❚ Factorización QR de matrices WEB Si una matriz A de m × n tiene columnas x1, . . . , xn linealmente independientes, en- tonces la aplicación del proceso de Gram-Schmidt (con normalizaciones) a x1, . . . , xn equivale a factorizar A tal como se describe en el teorema siguiente. Esta factorización es usada ampliamente en los algoritmos de computadora para efectuar diversos cálculos, como la resolución de ecuaciones (que se analiza en la sección 6.5), y la ubicación de valores propios (mencionada en los ejercicios de la sección 5.2). T E O R E M A 12 La factorización QR Si A es una matriz de m × n con columnas linealmente independientes, entonces puede factorizarse como A = QR, donde Q es una matriz de m × n cuyas columnas forman una base ortonormal para Col A, y R es una matriz invertible triangular superior de n × n con entradas positivas en su diagonal. DEMOSTRACIÓN Las columnas de A forman una base {x1, . . . , xn} para Col A. Em- pleando la propiedad (1) dada en el teorema 11, estructure una base ortonormal {u1, . . . , un} para W = Col A. Esta base puede estructurarse mediante el proceso Gram-Schmidt o de algunas otras formas. Sea Q = [ u1 u2 · · · un ]

406 Capítulo 6 Ortogonalidad y mínimos cuadrados Para k = 1, . . . , n, xk está en Gen{x1, . . . , xk}= Gen{u1, . . . , uk}. Por lo tanto, existen constantes, r1k, . . . , rkk, tales que xk = r1ku1 + · · · + rkkuk + 0·uk+1 + · · · + 0·un Puede suponerse que rkk ≥ 0. (Si rkk < 0, multiplique tanto rkk como uk por −1.) Esto muestra que xk es una combinación lineal de las columnas de Q utilizando como pesos las entradas del vector ⎡⎤ r1k rk = ⎣⎢⎢⎢⎢⎢⎢⎢ ... ⎥⎥⎥⎥⎥⎥⎥⎦ rkk 0 ... 0 Es decir, xk = Qrk para k = 1, . . . , n. Sea R = [r1 · · · rn]. Entonces A = [ x1 · · · xn ] = [ Qr1 · · · Qrn ] = QR El que R sea invertible se deduce fácilmente del hecho de que las columnas de A son linealmente independientes (ejercicio 19). Como resulta evidente que R es triangular superior, sus entradas diagonales no negativas deben ser positivas. Q ⎡⎤ 100 ⎢⎢⎣ ⎥⎦⎥. EJEMPLO 4 Encuentre una factorización QR de A = 1 1 0 1 1 1 111 Solución Las columnas de A son los vectores x1, x2, x3 del ejemplo 2. En ese ejemplo se encontró una base ortogonal para Col A = Gen{x1, x2, x3}: ⎡⎤ ⎡⎤ ⎡⎤ 1 −3 0 ⎢⎢⎣ ⎥⎦⎥ v2 = ⎢⎣⎢ ⎥⎥⎦ ⎣⎢⎢ ⎥⎥⎦ v1 = 1 , 1 , v3 = −2/3 1 1 1/3 1 1 1/3 Escale v3 haciendo vЈ3 = 3v3. Luego normalice los tres vectores para obtener u1, u2, u3, y utilice estos vectores como las columnas de Q. ⎡ √ 0√ ⎤ 1/2 −3/√12 −2/√6 Q = ⎢⎣⎢ 1/2 1/√12 1/√6 ⎦⎥⎥ 1/2 1/√12 1/ 12 1/2 1/ 6 Por construcción, las primeras k columnas de Q son una base ortonormal de Gen{x1, . . . , xk}. A partir de la demostración del teorema 12, A = QR para alguna R. Para encontrar R, observe que QTQ = I, porque las columnas de Q son ortonormales. Por lo tanto, QTA = QT(QR) = IR = R

6.4 El proceso Gram-Schmidt 407 y ⎤⎡ ⎤ ⎦⎢⎢⎣ ⎡ 1/2√ 1/√2 1/√2 1/√2 1 0 0 −3/ 12 1/√12 1/√12 1/√12 1 1 R = ⎣ 1/ 6 1 1 0 ⎥⎦⎥ 1 1 0 −2/ 6 1/ 6 1 1 ⎡⎤ 2 3√/2 1√ = ⎣0 3/ 12 2/√12 ⎦ ❙❙❙❙❘❙❙❙❙❚ 0 0 2/ 6 NOTAS NUMÉRICAS 1. Cuando el proceso Gram-Schmidt se ejecuta en una computadora, puede acumu- larse un error de redondeo a medida que se calculan los vectores uk uno por uno. Para k y j grandes pero no iguales, los productos interiores uTj uk podrían no ser lo suficientemente cercanos a cero. Esta pérdida de ortogonalidad puede reducir- se sustancialmente al reacomodar el orden de los cálculos.1 Sin embargo, gene- ralmente se prefiere factorizar QR en vez de aplicar este método Gram-Schmidt modificado ya que se obtiene una base ortonormal más precisa, a pesar de que la factorización requiere casi el doble de operaciones aritméticas. 2. Para producir una factorización QR de una matriz A, generalmente un programa de computadora multiplica A por la izquierda mediante una sucesión de matrices ortogonales hasta que la transforma en una matriz triangular superior. Esta estruc- turación es análoga a la multiplicación izquierda por matrices elementales que produce una factorización LU de A. PROBLEMA DE PRÁCTICA ⎡⎤ ⎡⎤ 1 1/3 Sea W = Gen{x1, x2}, donde x1 = ⎣ 1 ⎦y x2 = ⎣ 1/3 ⎦. Estructure una base ortonor- 1 −2/3 mal para W. 6.4 EJERCICIOS En los ejercicios 1 a 6, el conjunto dado es una base para un sub- ⎡ ⎤⎡ ⎤ ⎡ ⎤⎡ ⎤ espacio W. Utilice el proceso Gram-Schmidt para producir una 24 3 −3 base ortogonal de W. 3. ⎣ −5 ⎦, ⎣ −1 ⎦ 4. ⎣ −4 ⎦, ⎣ 14 ⎦ 12 5 −7 ⎡ ⎤⎡ ⎤ ⎡ ⎤⎡ ⎤ 38 05 1. ⎣ 0 ⎦, ⎣ 5 ⎦ 2. ⎣ 4 ⎦, ⎣ 6 ⎦ −1 −6 2 −7 1Vea Fundamentals of Matrix Computations, por David S. Watkins (Nueva York: John Wiley & Sons, 1991), págs. 167-180.

408 Capítulo 6 Ortogonalidad y mínimos cuadrados ⎡ ⎤⎡ ⎤ ⎡ ⎤⎡ ⎤ c. Si A = QR, donde Q tiene columnas ortonormales, enton- 17 3 −5 ces R = QTA. 5. ⎣⎢⎢ −4 ⎥⎦⎥, ⎢⎢⎣ −7 ⎥⎥⎦ 6. ⎢⎢⎣ −1 ⎥⎥⎦, ⎢⎣⎢ 9 ⎦⎥⎥ 18. a. Si W = Gen{x1, x2, x3} con {x1, x2, x3} linealmente inde- 0 −4 2 −9 pendiente, y si {v1, v2, v3} es un conjunto ortogonal en W, entonces {v1, v2, v3} es una base de W. 11 −1 3 b. Si x no está en un subespacio W, entonces x − proyW x no 7. Encuentre una base ortonormal para el subespacio generado es cero. por los vectores del ejercicio 3. c. En una factorización QR, por ejemplo A = QR (cuando 8. Encuentre una base ortonormal para el subespacio generado A tiene las columnas linealmente independientes), las co- por los vectores del ejercicio 4. lumnas de Q forman una base ortonormal del espacio de columnas de A. Encuentre una base ortogonal para el espacio de columnas de cada matriz de los ejercicios 9 a 12. ⎡⎤ ⎡ −1 6 6 ⎤ 19. Suponga que A = QR, donde Q es de m × n y R es de n × n. 3 −5 1 −8 Demuestre que si las columnas de A son linealmente indepen- ⎢⎢⎣ ⎥⎦⎥ 10. ⎢⎣⎢ −2 ⎦⎥⎥ dientes, entonces R debe ser invertible. [Sugerencia: Estudie 9. 1 1 1 3 3 la ecuación Rx = 0 y utilice el hecho de que A = QR.] −1 5 −2 1 6 3 −7 8 1 −4 −3 ⎡⎤ ⎡⎤ 20. Suponga que A = QR, donde R es una matriz invertible. De- 125 135 muestre que A y Q tienen el mismo espacio de columnas. [Sugerencia: Dada y en Col A, muestre que y = Qx para al- 11. ⎢⎢⎢⎣⎢ −1 1 −4 ⎦⎥⎥⎥⎥ 12. ⎢⎢⎢⎣⎢ −1 −3 1 ⎥⎥⎥⎥⎦ guna x. También, dada y en Col Q, muestre que y = Ax para −1 4 −3 0 2 3 alguna x.] −4 1 5 2 1 7 21. Dada A = QR como en el teorema 12, describa cómo en- contrar una matriz (cuadrada) ortogonal Q1 de m × m y una 121 158 matriz de n × n invertible triangular superior R tales que En los ejercicios 13 y 14, las columnas de Q se obtuvieron apli- A = Q1 R cando el proceso Gram-Schmidt a las columnas de A. Encuentre 0 una matriz triangular superior R tal que A = QR. Verifique su tra- bajo. ⎡ 5 ⎤⎡ ⎤ El comando qr de MATLAB proporciona esta factorización 9 5/6 −1/6 QR “completa” cuando rango A = n. 13. A = ⎣⎢⎢ 1 7 ⎥⎦⎥, Q = ⎢⎢⎣ 1/6 5/6 ⎦⎥⎥ 22. Si u1, . . . , up es una base ortogonal para un subespacio W de −3 −5 −3/6 1/6 Rn, y T : Rn → Rn se define como T(x) = proyW x, muestre 1 5 1/6 3/6 que T es una transformación lineal. ⎡ −2 ⎤⎡ 5/7 ⎤ 3 −2/7 14. A = ⎢⎣⎢ ⎦⎥⎥, ⎣⎢⎢ ⎦⎥⎥ 5 7 Q = 5/7 2/7 23. Suponga que A = QR es una factorización QR de una matriz 2 −2 2/7 −4/7 A de m × n (con columnas linealmente independientes). Di- 46 4/7 2/7 vida A como [A1 A2], donde A1 tiene p columnas. Muestre cómo obtener una factorización QR de A1, y explique por qué 15. Encuentre una factorización QR para la matriz del ejercicio su factorización tiene las propiedades adecuadas. 11. 24. [M] Utilice el proceso Gram-Schmidt para producir una base 16. Encuentre una factorización QR para la matriz del ejercicio 12. ortogonal del espacio de columnas de ⎡ 13 ⎤ −10 1 7 −11 A = ⎢⎣⎢⎢⎢ 3 ⎥⎥⎦⎥⎥ En los ejercicios 17 y 18, todos los vectores y subespacios están 2 −16 −5 3 en Rn. Señale cada enunciado como verdadero o falso. Justifique −6 13 −3 16 −2 sus respuestas. 5 17. a. Si {v1, v2, v3} es una base ortogonal de W, entonces la 2 1 −5 −7 multiplicación de v3 por un escalar c produce una base or- togonal nueva {v1, v2, cv3}. 25. [M] Produzca una factorización QR de la matriz del ejercicio 24. b. El proceso Gram-Schmidt produce, a partir de un conjunto linealmente independiente {x1, . . . , xp}, un conjunto orto- 26. [M] Para un programa de matrices, el proceso Gram-Schmidt gonal {v1, . . . , vp} con la propiedad de que, para cada k, funciona mejor con vectores ortonormales. Iniciando con x1, los vectores generan el mismo subespacio que el generado . . . , xp como en el teorema 11, sea A = [x1 · · · xp]. Su- por x1, . . . , xk. ponga que Q es una matriz de n × k cuyas columnas forman una base ortonormal del subespacio Wk generado por las pri-

6.5 Problemas de mínimos cuadrados 409 meras k columnas de A. Entonces, para x en Rn, QQT es la el siguiente paso es [Q uk+1]. Use este procedimiento para proyección ortogonal de x sobre Wk (teorema 10 de la sección calcular la factorización QR de la matriz del ejercicio 24. Es- 6.3). Si xk+1 es la siguiente columna de A, entonces la ecua- ción (2) de la demostración del teorema 11 es criba los comandos o pulsaciones de tecla que utilice. vk+1 = xk+1 − Q(QT xk+1) CD Proceso Gram-Schmidt y una factorización QR (Gram-Schmidt and a QR Factorization) (Los paréntesis anteriores reducen el número de operacio- nes aritméticas.) Sea uk+1 = vk+1/ vk+1 . La nueva Q para SOLUCIÓN AL PROBLEMA DE PRÁCTICA ⎡⎤ 1 Sean v1 = x1 = ⎣ 1 ⎦y v2 = x2 − x2 · v1 v1 = x2 − 0v1 = x2. Entonces {x1, x2} ya es v1 · v1 1 ortogonal. Todo lo que se necesita es normalizar los vectores. Sea ⎡ ⎤ ⎡ √⎤ 1 1/√3 u1 = 1 v1 = √1 ⎣ 1 ⎦ = ⎣ 1/√3 ⎦ v1 3 1 1/ 3 En lugar de normalizar directamente v2, normalice vЈ2 = 3v2: √⎤ ⎡ ⎤⎡ 1/√6 1 1/√6 1 1 ⎣ 1 ⎦ = ⎣ −2/ 6 ⎦ u2 = v2 v2 = 12 −2 12 + + (−2)2 Entonces {u1, u2} es una base ortonormal de W. 6.5 PROBLEMAS DE MÍNIMOS CUADRADOS El ejemplo introductorio de este capítulo describe un problema muy grande del tipo Ax = b que no tenía solución. Los sistemas inconsistentes surgen con frecuencia en las aplicaciones, aunque generalmente no tienen una matriz de coeficientes tan enorme. Cuando se necesita una solución pero no hay ninguna, lo mejor que puede hacerse es encontrar una x que deje a Ax tan cercana a b como sea posible. Piense en Ax como una aproximación a b. Cuanto más pequeña sea la distancia entre b y Ax, dada por b − Ax , mejor será la aproximación. El problema general de mínimos cuadrados es encontrar un x que haga a b − Ax tan pequeña como sea posible. El adjetivo “mínimos cuadrados” surge de que b − Ax es la raíz cuadrada de una suma de cuadrados. DEFINICIÓN Si A es de m × n y b está en Rm, una solución por mínimos cuadrados de Ax = b es una xˆ en Rn tal que b − Axˆ b − Ax para toda x en Rn.

410 Capítulo 6 Ortogonalidad y mínimos cuadrados El aspecto más importante del problema de mínimos cuadrados es que no importa cuál x se elija, el vector Ax necesariamente estará en el espacio de columnas. Así que se busca un x adecuado para convertir a Ax en el punto de Col A más cercano a b. Vea la figura 1. (Por supuesto, si sucede que b está en Col A, entonces b es Ax para algún x, y tal x es una “solución por mínimos cuadrados”.) b 0 Axˆ Ax Col A Ax FIGURA 1 El vector b está más cerca de Axˆ que de Ax para otro x. Solución del problema general de mínimos cuadrados Dados los A y b anteriores, aplique el teorema de aproximación óptima dado en la sec- ción 6.3 al subespacio Col A. Sea bˆ = proyCol A b Puesto que bˆ está en el espacio de columnas de A, la ecuación Ax = bˆ es consistente, y existe un xˆ en Rn tal que Axˆ = bˆ (1) Puesto que bˆ es el punto de Col A más cercano a b, un vector xˆ es una solución por mínimos cuadrados de Ax = b si, y sólo si, xˆ satisface (1). Un xˆ tal en Rn es una lista de pesos que estructurará bˆ a partir de las columnas de A. Vea la figura 2. [Existen muchas soluciones de (1) si la ecuación tiene variables libres.] b – Axˆ b 0 bˆ = Axˆ Col A subespacio de ‫ޒ‬m xˆ A ‫ޒ‬n FIGURA 2 La solución por mínimos cuadrados xˆ está en Rn. Suponga que xˆ satisface Axˆ = bˆ . De acuerdo con el teorema de la descomposi- ción ortogonal dado en la sección 6.3, la proyección b tiene la propiedad de que b − bˆ es ortogonal a Col A, entonces b − Axˆ es ortogonal a cualquier columna de A. Si aj

6.5 Problemas de mínimos cuadrados 411 es cualquier columna de A, entonces aj ·(b − Axˆ) = 0, y ajT (b − Axˆ) = 0. Puesto que cualquier ajT es una fila de AT, AT(b − Axˆ) = 0 (2) (Esta ecuación también se deriva del teorema 3 dado en la sección 6.1.) Entonces ATb − ATAxˆ = 0 ATAxˆ = ATb Estos cálculos muestran que cada solución por mínimos cuadrados de Ax = b satisface la ecuación ATAx = ATb (3) La ecuación matricial (3) representa un sistema de ecuaciones lineales llamadas ecua- ciones normales para Ax = b. Una solución de (3) se denota frecuentemente como xˆ. T E O R E M A 13 El conjunto de soluciones por mínimos cuadrados de Ax = b coincide con el con- junto no vacío de soluciones de las ecuaciones normales ATAx = ATb. DEMOSTRACIÓN Como se mostró anteriormente, el conjunto de las soluciones por mí- nimos cuadrados no es vacío y cualquier xˆ tal cumple con las ecuaciones normales. De manera recíproca, suponga que xˆ satisface ATAxˆ = ATb. Entonces xˆ satisface a la ecuación (2) anterior, lo cual demuestra que b − Axˆ es ortogonal a las filas de AT y, por lo tanto, es ortogonal a las columnas de A. Como las columnas de A generan Col A, el vector b − Axˆ es ortogonal a toda Col A. Por lo tanto, la ecuación b = Axˆ + (b − Axˆ) es una descomposición de b en la suma de un vector de Col A y un vector ortogonal a Col A. De acuerdo con la unicidad de la descomposición ortogonal, Axˆ debe ser la pro- yección ortogonal de b sobre Col A. Esto es, Axˆ = bˆ , y xˆ es una solución por mínimos cuadrados. Q EJEMPLO 1 Encuentre una solución por mínimos cuadrados del sistema inconsisten- te Ax = b para ⎡ ⎤ ⎡⎤ 4 0 2 2⎦, A=⎣0 b=⎣ 0⎦ 11 11 Solución Para usar (3), calcule: ⎡⎤ ATA = 4 0 1 4 0 17 1 0 2 1 ⎣0 2⎦= 1 5 1 1 ⎡⎤ 2 ATb = 4 0 1 ⎣ 0⎦= 19 0 2 1 11 11

412 Capítulo 6 Ortogonalidad y mínimos cuadrados Entonces la ecuación ATAx = ATb se vuelve 17 1 x1 = 19 1 5 x2 11 Pueden usarse operaciones por fila para resolver este sistema, pero como ATA es inverti- ble y 2 × 2, probablemente sea más fácil calcular (ATA)−1 = 1 5 −1 84 −1 17 y luego resolver ATAx = ATb como xˆ = (ATA)−1ATb =1 5 −1 19 =1 84 = 1 84 −1 17 11 84 168 2 ❙❙❙❙❘❙❙❙❙❚ En muchos cálculos, ATA es invertible, pero no siempre es el caso. El siguiente ejemplo incluye una matriz similar a la que aparece en aquellos problemas de estadística que suelen llamarse problemas de análisis de varianza. EJEMPLO 2 Encuentre una solución por mínimos cuadrados de Ax = b para ⎡⎤ ⎡⎤ 1100 −3 ⎢⎣⎢⎢⎢⎢⎢ ⎥⎥⎥⎥⎦⎥⎥ ⎢⎢⎢⎢⎢⎢⎣ ⎥⎥⎥⎥⎦⎥⎥ A = 1 1 0 0 , b = −1 1 0 1 0 0 1 0 1 0 2 1 0 0 1 5 1001 1 Solución Calcule ⎡⎤ 1 1 0 0 ⎡ 1 1 1 1 1 1 ⎤⎦⎥⎥⎢⎣⎢⎢⎢⎢⎢ 1 1 0 0 ⎦⎥⎥⎥⎥⎥⎥ ⎡ 6 2 2 2 ⎤ 1 0 0 0 0 1 0 1 0 ⎣⎢⎢ 2 2 0 ATA = ⎢⎢⎣ 1 0 1 1 0 0 1 0 1 0 = 2 0 2 0 ⎦⎥⎥ 0 0 0 0 1 1 1 0 0 1 2 0 0 0 0 2 1001 ⎡⎤ −3 ⎡ 1 1 1 1 1 1 ⎦⎥⎤⎥⎢⎢⎣⎢⎢⎢⎢ −1 ⎥⎥⎥⎥⎥⎦⎥ ⎡ 4 ⎤ 1 0 0 0 0 ⎣⎢⎢ −4 ⎦⎥⎥ ATb = ⎢⎣⎢ 1 0 1 1 0 0 0 = 0 0 0 0 1 1 2 2 5 6 0 1 La matriz aumentada para ATAx = ATb es ⎡ ⎤⎡ ⎤ 62224 10013 ⎢⎣⎢ ⎥⎦⎥ ⎣⎢⎢ ⎥⎥⎦ 2 2 0 0 −4 ∼ 0 1 0 −1 −5 2 0 2 0 2 0 0 1 −1 −2 20026 00000

6.5 Problemas de mínimos cuadrados 413 La solución general es x1 = 3 − x4, x2 = −5 + x4, x3 = −2 + x4, y x4 es libre. Así que la solución general por mínimos cuadrados de Ax = b tiene la forma ⎡⎤ ⎡⎤ 3 −1 ⎣⎢⎢ ⎦⎥⎥ x4⎢⎢⎣ ⎥⎦⎥ xˆ = −5 + 1 ❙❙❙❙❘❙❙❙❙❚ −2 1 01 El teorema siguiente proporciona un criterio útil para cuando existe solución por mínimos cuadrados de Ax = b. (Por supuesto, la proyección ortogonal bˆ siempre es única.) T E O R E M A 14 La matriz ATA es invertible si, y sólo si, las columnas de A son linealmente inde- pendientes. En este caso, la ecuación Ax = b tiene solamente una solución por mínimos cuadrados xˆ, y está dada por xˆ = (ATA)−1ATb. (4) En los ejercicios 19 a 21 se incluye un compendio de los elementos principales de una demostración del teorema 14, en el cual también se repasan conceptos del capítulo 4. La fórmula (4) para xˆ es útil especialmente para propósitos teóricos y cálculos a mano cuando ATA es una matriz invertible de 2 × 2. Cuando se utiliza una solución por mínimos cuadrados xˆ para producir Axˆ como una aproximación a b, la distancia de b a Axˆ se denomina error de mínimos cuadrados de esta aproximación. EJEMPLO 3 Dados A y b como en el ejemplo 1, determine el error de mínimos cua- drados en la solución por mínimos cuadrados de Ax = b. Solución Del ejemplo 1, ⎡⎤ ⎡ ⎤ ⎡⎤ 2 4 0 4 x3 2⎦ 1 =⎣4⎦ (2, 0, 11) b=⎣ 0⎦ y Axˆ = ⎣ 0 2 b 11 1 3 ͙84 1 De aquí que Ax^ ⎡ ⎤ ⎡⎤ ⎡ ⎤ 2 4 −2 (0, 2, 1) b − Axˆ = ⎣ 0 ⎦ − ⎣ 4 ⎦ = ⎣ −4 ⎦ 11 3 8 Col A y 0 b − Axˆ √ (4, 0, 1) (−2)2 + (−4)2 + 82 = 84 FIGURA 3 x1 √ El error de mínimos cuadr√ados es 84. Para cualquier x en R2, la distancia entre b y el vector Ax es de al menos 84. Véase la figura 3. Observe que la solución por mínimos cuadrados xˆ no aparece en la figura. ❙❙❙❙❘❙❙❙❙❚

414 Capítulo 6 Ortogonalidad y mínimos cuadrados Cálculo alternativo de una solución por mínimos cuadrados En el siguiente ejemplo se muestra cómo encontrar una solución por mínimos cuadrados de Ax = b cuando las columnas de A son ortogonales. Tales matrices aparecen a menudo en problemas de regresión lineal, los cuales se verán en la siguiente sección. EJEMPLO 4 Encuentre una solución por mínimos cuadrados de Ax = b para ⎡⎤ ⎡⎤ 1 −6 −1 ⎣⎢⎢ ⎥⎦⎥ b = ⎣⎢⎢ ⎥⎥⎦ A = 1 −2 , 2 1 1 1 17 6 Solución Como las columnas a1 y a2 de A son ortogonales, la proyección ortogonal de b sobre Col A está dada por bˆ = b · a1 a1 + b · a2 a2 = 8 + 45 (5) a1 · a1 a2 · a2 4 a1 90 a2 ⎡⎤ ⎡ ⎤ ⎡ ⎤ 2 −3 −1 ⎣⎢⎢ ⎥⎥⎦ + ⎣⎢⎢ ⎥⎥⎦ ⎢⎣⎢ ⎥⎦⎥ = 2 −1 = 1 2 1/2 5/2 2 7/2 11/2 Ahora que se conoce bˆ , puede resolverse Axˆ = bˆ . Pero esto es trivial, pues ya se sabe qué pesos colocar en las columnas de A para producir bˆ . A partir de (5) resulta claro que xˆ = 8/4 = 2 45/90 1/2 ❙❙❙❙❘❙❙❙❙❚ En algunos casos, la ecuación normal para un problema de mínimos cuadrados puede estar mal condicionada; esto es, errores pequeños en los cálculos de las entradas de ATA pueden ocasionar, a veces, errores relativamente grandes en la solución xˆ. Si las columnas de A son linealmente independientes, a menudo puede hacerse un cálculo más confiable de la solución por mínimos cuadrados usando una factorización QR de A (descrita en la sección 6.4).1 T E O R E M A 15 Dada una matriz A de m × n con columnas linealmente independientes, sea A = QR una factorización QR de A como en el teorema 12. Entonces, para cada b en Rm, la ecuación Ax = b tiene una solución única por mínimos cuadrados, dada por xˆ = R−1QT b (6) 1El método QR se compara con el método estándar de ecuaciones normales en G. Golub y C. Van Loan, Matrix Computations, 3a. ed. (Baltimore: Johns Hopkins Press, 1996), págs. 230-231.

6.5 Problemas de mínimos cuadrados 415 DEMOSTRACIÓN Sea xˆ = R−1QT b. Entonces Axˆ = QRxˆ = QRR−1QT b = QQT b De acuerdo con el teorema 12, las columnas de Q forman una base ortonormal para Col A. Así que, según el teorema 10, QQTb es la proyección ortogonal bˆ de b sobre Col A. Entonces Axˆ = bˆ , lo cual demuestra que xˆ es una solución por mínimos cuadrados de Ax = b. La unicidad de xˆ se deduce del teorema 14. Q NOTA NUMÉRICA Puesto que en el teorema 15 R es triangular superior, xˆ debería calcularse como la solución exacta de la ecuación Rx = QT b (7) Es mucho más rápido resolver (7) por sustitución regresiva u operaciones por fila que calcular R−1 y usar (6). EJEMPLO 5 Encuentre la solución por mínimos cuadrados de Ax = b para ⎡⎤ ⎡ 3 ⎤ 135 b = ⎢⎢⎣ ⎢⎣⎢ ⎥⎥⎦ ⎦⎥⎥ A = 1 1 0 , 5 1 1 2 7 133 −3 Solución Puede obtenerse la factorización QR de A como en la sección 6.4. ⎡ 1/2 1/2 1/2 ⎤⎡ ⎤ −1/2 −1/2 ⎥⎦⎥⎣ 5 A = QR = ⎢⎣⎢ 1/2 −1/2 2 4 3⎦ 1/2 1/2 0 2 1/2 −1/2 0 0 2 1/2 Entonces ⎡ 1/2 1/2 1/2 ⎤⎡ 3 ⎤ = ⎡ 6 ⎤ 1/2 −1/2 −1/2 1/2 ⎦⎣⎢⎢ 5 ⎥⎦⎥ ⎣ −6 ⎦ −1/2 −1/2 7 QT b = ⎣ 1/2 1/2 −3 4 1/2 La solución por mínimos cuadrados xˆ satisface Rx = QTb; esto es, ⎡ ⎤⎡ ⎤ ⎡ ⎤ 2 4 5 x1 6 ⎣ 0 2 3 ⎦⎣ x2 ⎦ = ⎣ −6 ⎦ 0 0 2 x3 4 ⎡⎤ ❙❙❙❙❘❙❙❙❙❚ 10 Esta ecuación se resuelve fácilmente y produce xˆ = ⎣ −6 ⎦. 2

416 Capítulo 6 Ortogonalidad y mínimos cuadrados PROBLEMAS DE PRÁCTICA ⎡⎤ ⎡⎤ 1 −3 −3 5 1. Sean A = ⎣ 1 5 1 ⎦y b = ⎣ −3 ⎦. Encuentre una solución por mínimos cua- 172 −5 drados de Ax = b, y calcule el error de mínimos cuadrados asociado. 2. ¿Qué puede decirse acerca de la solución por mínimos cuadrados de Ax = b cuando b es ortogonal a las columnas de A? 6.5 EJERCICIOS En los ejercicios 1 a 4, encuentre una solución por mínimos cua- En los ejercicios 9 a 12, encuentre (a) la proyección ortogonal drados de Ax = b, para ello (a) estructure las ecuaciones normales de b sobre Col A, y (b) una solución por mínimos cuadrados de para xˆ, y (b) despeje xˆ. Ax = b. ⎡⎤ ⎡⎤ ⎡ ⎤ ⎡⎤ −1 2 4 1 54 1 ⎦, b = ⎣ −2 ⎦ 1. A = ⎣ 2 −3 ⎦, b = ⎣ 1 ⎦ 9. A = ⎣ 3 −1 3 2 −2 4 −3 ⎡⎤ ⎡⎤ ⎡ ⎤ ⎡⎤ 21 −5 1 23 4 ⎦, b = ⎣ −1 ⎦ 2. A = ⎣ −2 0 ⎦, b = ⎣ 8 ⎦ 10. A = ⎣ −1 23 1 12 5 ⎡ 1 ⎤ ⎡⎤ ⎡ ⎤ ⎡⎤ −2 3 40 19 ⎢⎣⎢ −1 2 ⎦⎥⎥, ⎢⎢⎣ 1 ⎦⎥⎥ 3. A = 0 3 b = −4 11. A = ⎣⎢⎢ 1 −5 1 ⎥⎦⎥, b = ⎣⎢⎢ 0 ⎥⎥⎦ 6 1 0 0 25 2 1 −1 −5 0 ⎡⎤ ⎡⎤ 13 5 ⎡ ⎤ ⎡⎤ 10 2 4. A = ⎣ 1 −1 ⎦, b = ⎣ 1 ⎦ 1 11 0 12. A = ⎢⎢⎣ 1 0 −1 ⎥⎥⎦, b = ⎣⎢⎢ 5 ⎥⎥⎦ 0 1 1 6 En los ejercicios 5 y 6, describa por mínimos cuadrados todas las −1 1 −1 6 soluciones de la ecuación Ax = b. ⎡ ⎤ ⎡⎤ 3 4 11 ⎡ ⎤ ⎡⎤ 1 ⎦, b = ⎣ −9 ⎦, u = 5 , y v= 110 1 13. Sean A = ⎣ −2 −1 45 5. A = ⎣⎢⎢ 1 1 0 ⎦⎥⎥, b = ⎢⎢⎣ 3 ⎥⎥⎦ 3 1 0 1 8 5 . Calcule Au y Av, y compárelos con b. ¿Podría u ser 101 2 −2 ⎡⎤ ⎡⎤ una solución por mínimos cuadrados de Ax = b? (Responda 110 7 ⎢⎢⎢⎢⎢⎢⎣ 1 1 0 ⎥⎥⎥⎦⎥⎥⎥, ⎣⎢⎢⎢⎢⎢⎢ 2 ⎦⎥⎥⎥⎥⎥⎥ sin calcular una solución por mínimos cuadrados.) 1 1 0 3 6. A = 1 0 1 b = 6 ⎡ ⎤ ⎡⎤ 1 0 1 5 2 15 14. Sean A = ⎣ −3 −4 ⎦, b = ⎣ 4 ⎦, u= 4 , y v= −5 3 24 101 4 7. Calcule el error de mínimos cuadrados asociado a la solución 6 . Calcule Au y Av, y compárelos con b. ¿Es posible que por mínimos cuadrados obtenida en el ejercicio 3. −5 al menos u o v sean una solución por mínimos cuadrados de 8. Calcule el error de mínimos cuadrados asociado a la solución Ax = b? (Responda sin calcular una solución por mínimos por mínimos cuadrados obtenida en el ejercicio 4. cuadrados.)

6.5 Problemas de mínimos cuadrados 417 En los ejercicios 15 y 16, utilice la factorización A = QR para [Cuidado: No puede suponerse que A sea invertible; podría no ser siquiera cuadrada.] encontrar la solución por mínimos cuadrados de Ax = b. 21. Sea A una matriz de m × n cuyas columnas son linealmente ⎡ ⎤⎡ ⎤ ⎡⎤ independientes. [Cuidado: A no necesita ser cuadrada.] 2 3 2/3 −1/3 7 a. Utilice el ejercicio 19 para mostrar que ATA es una matriz 4 ⎦ = ⎣ 2/3 2/3 ⎦ 3 5 , b=⎣ 3 ⎦ invertible. 15. A = ⎣ 2 0 1 b. Explique por qué A debe tener por lo menos tantas filas 1 1/3 −2/3 1 como columnas. ⎡ 1 ⎤⎡ ⎤ ⎡⎤ c. Determine el rango de A. −1 1 −1 1/2 −1/2 22. Utilice el ejercicio 19 para mostrar que rango ATA = rango A. [Pista: ¿Cuántas columnas tiene ATA? ¿Cómo se relaciona 16. A = ⎢⎢⎣ 1 4 ⎥⎦⎥=⎢⎢⎣ 1/2 1/2 ⎥⎦⎥ 2 3 , b=⎢⎢⎣ 6 ⎦⎥⎥ esto con el rango de ATA?] 1 −1 1/2 −1/2 0 5 5 23. Suponga que A es de m × n con columnas linealmente inde- 14 1/2 1/2 7 pendientes y que b está en Rm. Utilice las ecuaciones norma- les y produzca una fórmula para bˆ , la proyección de b sobre En los ejercicios 17 y 18, A es una matriz m × n y b está en Rm. Col A. [Sugerencia: Primero encuentre xˆ. La fórmula no re- Señale cada enunciado como verdadero o falso. Justifique sus res- quiere una base ortogonal para Col A.] puestas. 24. Encuentre una fórmula para la solución por mínimos cuadra- 17. a. El problema general de mínimos cuadrados consiste en dos de Ax = b cuando las columnas de A son ortonormales. encontrar una x que haga Ax tan cercana como sea posible a b. 25. Describa todas las soluciones por mínimos cuadrados del sis- tema b. Una solución por mínimos cuadrados de Ax = b es un vector xˆ que satisface Axˆ = bˆ , donde bˆ es la proyección x+y = 2 ortogonal de b sobre Col A. x+y = 4 c. Una solución por mínimos cuadrados de Ax = b es un vec- 26. [M] El ejemplo 3 de la sección 4.8 mostró un filtro lineal pa- tor xˆ tal que b − Ax b − Axˆ para toda x en Rn. sabajas que convierte una señal {yk} en {yk+1} y transforma d. Cualquier solución de ATAx = ATb es una solución por una señal de frecuencia más alta {wk} en la señal cero, donde mínimos cuadrados de Ax = b. yk = cos(πk/4) y wk = cos(3πk/4). Los cálculos siguientes diseñan un filtro con aproximadamente esas propiedades. La e. Si las columnas de A son linealmente independientes, en- tonces la ecuación Ax = b tiene exactamente una solución ecuación del filtro es por mínimos cuadrados. a0yk+2 + a1yk+1 + a2yk = zk para toda k (8) 18. a. Si b está en el espacio columna de A, entonces toda solu- ción de Ax = b es una solución por mínimos cuadrados. Como las señales son periódicas, con periodo 8, es suficiente con estudiar la ecuación (8) para k = 0, . . . , 7. La acción ejer- b. La solución por mínimos cuadrados de Ax = b es el punto cida sobre las dos señales descritas anteriormente se traduce del espacio de columnas de A más cercano a b. en dos conjuntos de ocho ecuaciones, los cuales se muestran a continuación y en la página 418: c. Una solución por mínimos cuadrados de Ax = b es una lista de pesos que, cuando se aplican a las columnas de A, k=0 ⎡ yk+2 yk+1 yk ⎤ ⎡ yk+1 ⎤ producen la proyección ortogonal de b sobre Col A. 0 1 .7 .7 d. Si xˆ es una solución por mínimos cuadrados de Ax = b, k = 1 ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢ −.7 0 .7 ⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎡⎣ ⎤⎦=⎢⎢⎢⎢⎢⎢⎢⎢⎣⎢⎢ 0 ⎥⎥⎥⎥⎥⎥⎥⎦⎥⎥⎥ entonces xˆ = (ATA)−1ATb. ... −1 −.7 0 −.7 −.7 −1 −.7 a0 −1 e. Las ecuaciones normales proporcionan siempre un mé- −.7 −1 a1 −.7 ; todo confiable para calcular soluciones por mínimos cua- 0 0 −.7 a2 drados. .7 .7 0 0 1 1 .7 f. Si A tiene una factorización QR, por ejemplo A = QR, entonces la mejor manera de encontrar la solución por mí- k = 7 .7 .7 1 nimos cuadrados de Ax = b es calcular xˆ = R−1QT b. 19. Sea A una matriz de m × n. Siga los siguientes pasos para demostrar que un vector x en Rn satisface Ax = 0 si, y sólo si, ATAx = 0. Esto demostrará que Nul A = Nul ATA. a. Demuestre que si Ax = 0, entonces ATAx = 0. b. Suponga que ATAx = 0. Explique por qué xTATAx = 0, y utilice esto para mostrar que Ax = 0. 20. Sea A una matriz de m × n tal que ATA es invertible. Demues- tre que las columnas de A son linealmente independientes.

418 Capítulo 6 Ortogonalidad y mínimos cuadrados k=0 ⎡ wk+2 wk+1 wk ⎤ ⎡⎤ derechos de las ecuaciones. Encuentre las a0, a1, a2 dadas 0 −.7 1 0 mediante la solución por mínimos cuadrados de Ax = b. (El √.7 de los datos anteriores se usó como una aproximación de k = 1 ⎢⎢⎢⎢⎢⎢⎢⎢⎣⎢⎢ .7 0 −.7 ⎥⎥⎥⎦⎥⎥⎥⎥⎥⎥⎥⎡⎣ ⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣ 0 ⎥⎥⎥⎥⎥⎦⎥⎥⎥⎥⎥ ... −1 .7 0 0 2/2, para ilustrar cómo se podría llevar a cabo un cálculo −1 .7 a0 ⎤ 0 típico en un problema aplicado. Si en su lugar se usara .707, .7 .7 a1 ⎦ = 0 los coeficientes del filtro resultantes co√incidirían en √por lo 0 0 −1 a2 0 menos siete posiciones decimales con 2/4, 1/2, y 2/4, −.7 −.7 .7 0 como los valores producidos mediante cálculos aritméticos 1 0 exactos.) k = 7 −.7 1 −.7 0 CD Mínimos cuadrados y QR (Least-Squares and QR) Escriba una ecuación Ax = b, donde A es una matriz de 16 × 3 formada con las dos anteriores matrices de coeficientes, y donde b en R16 está formado a partir de los dos miembros SOLUCIONES A LOS PROBLEMAS DE PRÁCTICA 1. Primero, calcule ⎡ ⎤⎡ ⎤ ⎡ ⎤ 1 1 1 1 −3 −3 390 ATA = ⎣ −3 5 7 ⎦⎣ 1 5 1 ⎦ = ⎣ 9 83 28 ⎦ −3 1 2 1 7 2 0 28 14 ⎡ ⎤⎡ ⎤ ⎡ ⎤ 111 5 −3 ATb = ⎣ −3 5 7 ⎦⎣ −3 ⎦ = ⎣ −65 ⎦ −3 1 2 −5 −28 Enseguida, reduzca por filas la matriz aumentada para las ecuaciones normales: ATAx = ATb: ⎡ ⎤⎡ ⎤ ⎡⎤ 3 9 0 −3 1 3 0 −1 1 0 −3/2 2 ⎣ 9 83 28 −65 ⎦ ∼ ⎣ 0 56 28 −56 ⎦ ∼ · · · ∼ ⎣ 0 1 1/2 −1 ⎦ 0 28 14 −28 0 28 14 −28 00 0 0 La solución general por mínimos cuadrados es x1 = 2 + 3 x3 , x2 = −1 − 1 x3, con x3 2 2 libre. Para una solución específica, tome x3 = 0 (por ejemplo), y obtenga ⎡⎤ 2 xˆ = ⎣ −1 ⎦ 0 Para encontrar el error de mínimos cuadrados, calcule ⎡ ⎤⎡ ⎤ ⎡ ⎤ 1 −3 −3 2 5 bˆ = Axˆ = ⎣ 1 5 1 ⎦⎣ −1 ⎦ = ⎣ −3 ⎦ 172 0 −5 Resulta que bˆ = b, entonces b − bˆ 0. El error de mínimos cuadrados es cero porque sucede que b está en Col A. 2. Si b es ortogonal a las columnas de A, entonces la proyección de b sobre el espacio columna de A es 0. En este caso, una solución por mínimos cuadrados xˆ de Ax = b satisface Axˆ = 0.

6.6 Aplicaciones a modelos lineales 419 6.6 APLICACIONES A MODELOS LINEALES Una tarea común en ciencias e ingeniería es analizar y comprender las relaciones pre- sentes entre diversas cantidades que varían. En esta sección se describirán diversas si- tuaciones en las que se usan datos para estructurar o verificar una fórmula que predice el valor de una variable como una función de otras variables. En cada caso, el problema equivaldrá a resolver un problema de mínimos cuadrados. Para facilitar la aplicación del análisis a problemas reales que los lectores podrán encontrar posteriormente en el desarrollo profesional de su carrera, se elige la notación que suele utilizarse en el análisis estadístico de datos científicos y de ingeniería. En lugar de Ax = b, se escribe Xβ = y y se llama a X matriz de diseño, β es el vector parámetro y y el vector de observación. Líneas de mínimos cuadrados La relación más sencilla entre dos variables x y y es la ecuación lineal y = β0 + β1x.1 Los datos experimentales a menudo producen puntos (x1, y1), . . . , (xn, yn) que, al graficarse, parecen quedar cerca de una línea. Se desea determinar los parámetros β0 y β1 que dejen a la línea tan “cercana” a los puntos como sea posible. Suponga que β0 y β1 están fijos, y considere la línea y = β0 + β1x que aparece en la figura 1. Para cada punto de los datos (xj, yj) hay un punto correspondiente (xj, β0 + β1xj) sobre la línea con la misma coordenada x. A yj se le llama el valor observado de y, y a β0 + β1xj el valor pronosticado de y (determinado mediante la línea). La diferencia entre un valor de y observado y uno pronosticado se denomina residual. y Punto de datos (xj, yj) Residual (xj, β0 + β1xj) y = β0 + β1x Punto sobre x la línea Residual xn x1 xj FIGURA 1 Ajuste de una línea a datos experimentales. Existen varias maneras de medir qué tan “cercana” está la línea a los datos. La elección acostumbrada (que se elige principalmente por la sencillez de los cálculos ma- temáticos) es sumar los cuadrados de los residuales. La línea de mínimos cuadrados es la línea y = β0 + β1x que minimiza la suma de los cuadrados de los residuales. Esta línea también se conoce como línea de regresión de y sobre x, porque se supone que cualquier error en los datos está únicamente en las coordenadas de y. Los coeficientes β0, β1 de la línea se llaman coeficientes de regresión (lineal).2 1Esta notación se usa comúnmente para líneas de mínimos cuadrados en lugar de y = mx + b. 2Si los errores de medición están en x en vez de en y, simplemente se intercambian las coordenadas de los datos (xj, yj) antes de graficar los puntos y calcular la línea de regresión. Si ambas coordenadas están sujetas a posibles errores, entonces se puede elegir la línea que minimice la suma de los cuadrados de las distancias or- togonales (perpendiculares) desde los puntos hasta la línea. Vea los problemas de práctica de la sección 7.5.

420 Capítulo 6 Ortogonalidad y mínimos cuadrados Si los puntos de datos estuvieran sobre la línea, los parámetros β0 y β1 satisfarían las ecuaciones Valor de y Valor de y pronosticado observado β0 + β1x1 = y1 β0 + β1x2 = y2 ... ... = yn β0 + β1xn Este sistema puede escribirse como ⎡ 1 x1 ⎤ ⎡⎤ y1 ⎣⎢⎢⎢ ⎦⎥⎥⎥ ⎢⎢⎣⎢ ⎥⎥⎥⎦ Xβ = y, donde X = 1 x2 , β= β0 , y = y2 (1) ... ... β1 ... 1 xn yn Por supuesto, si los puntos de datos no están sobre una línea, entonces no hay parámetros β0, β1 para los cuales los valores de y pronosticados en Xβ sean iguales a los valores de y observados en y, y Xβ = y no tiene solución. ¡Éste es un problema de mínimos cuadra- dos, Ax = b, con una notación diferente! El cuadrado de la distancia entre los vectores Xβ y y es precisamente la suma de los cuadrados de los residuales. El β que minimiza esta suma también minimiza la distancia entre Xβ y y. El cálculo de la solución por mínimos cuadrados de Xβ = y equivale a encontrar el β que determina la línea de mínimos cuadrados de la figura 1. EJEMPLO 1 Encuentre la ecuación y = β0 + β1x de la línea de mínimos cuadrados que se ajuste mejor a los puntos de datos (2, 1), (5, 2), (7, 3), (8, 3). Solución Utilice las coordenadas x de los datos para estructurar la matriz X en (1) y las coordenadas y para estructurar el vector y: ⎡ 1 ⎤ ⎡⎤ 21 ⎢⎣⎢ ⎥⎥⎦ ⎣⎢⎢ ⎥⎦⎥ X = 1 5 , y = 2 1 7 3 18 3 Para la solución por mínimos cuadrados de Xβ = y, obtenga las ecuaciones normales (con la notación nueva): XTXβ = XTy Es decir, calcule ⎡⎤ 12 ⎣⎢⎢ ⎦⎥⎥ XTX = 1 1 1 1 1 5 = 4 22 2 5 7 8 1 7 22 142 18

6.6 Aplicaciones a modelos lineales 421 ⎡⎤ 1 ⎢⎣⎢ ⎦⎥⎥ XTy = 1 1 1 1 2 = 9 2 5 7 8 3 57 3 Las ecuaciones normales son 4 22 β0 = 9 22 142 β1 57 De donde β0 = 4 22 −1 9 =1 142 −22 9 =1 24 = 2/7 β1 22 142 57 84 −22 4 57 84 30 5/14 Entonces la línea de mínimos cuadrados tiene la ecuación y=2+ 5 x 7 14 Vea la figura 2. ❙❙❙❙❘❙❙❙❙❚ y 3 2 1 x 123456789 FIGURA 2 La línea de mínimos cuadrados y = 2 + 5 x . 7 14 Una práctica común antes de calcular una línea de mínimos cuadrados es calcular el promedio x de los valores x originales y formar una nueva variable x∗ = x − x. Se dice que los nuevos datos x están en forma de desviación media. En este caso, las dos co- lumnas de la matriz de diseño serán ortogonales. La solución de las ecuaciones normales se simplifica, como en el ejemplo 4 de la sección 6.5. Vea los ejercicios 17 y 18. El modelo lineal general En algunas aplicaciones, es necesario ajustar los puntos de datos a algo distinto a una línea recta. En los ejemplos siguientes, la ecuación matricial aún es Xβ = y, pero la forma específica de X cambia de un problema al siguiente. Los estadísticos introducen generalmente un vector residual , definido mediante = y − Xβ, y escriben y = Xβ + Cualquier ecuación de esta forma se denomina modelo lineal. Una vez que X y y se determinan, el objetivo es minimizar la longitud de , lo cual equivale a encontrar una

422 Capítulo 6 Ortogonalidad y mínimos cuadrados solución por mínimos cuadrados de Xβ = y. En todo caso, la solución por mínimos cua- drados βˆ es una solución de las ecuaciones normales XTXβ = XTy Ajuste de otras curvas por mínimos cuadrados Cuando los puntos de datos (x1, y1), . . . , (xn, yn) de un “diagrama de dispersión” no están cerca de ninguna línea, podría ser adecuado postular alguna otra relación funcional entre x y y. Los tres ejemplos siguientes muestran cómo ajustar los datos por medio de curvas que tienen la forma general y = β0f0(x) + β1f1(x) + · · · + βkfk(x) (2) donde las f0, . . . , fk son funciones conocidas y los β0, . . . , βk son parámetros que deben determinarse. Como se verá, la ecuación (2) describe un modelo lineal porque es lineal en los parámetros desconocidos. Para un valor específico de x, (2) proporciona un valor pronosticado o “ajustado” de y. La diferencia entre el valor observado y el valor pronosticado es el residual. Los parámetros β0, . . . , βk deben determinarse de manera que minimicen la suma de los cua- y drados de los residuales. Costo promedio EJEMPLO 2 Suponga que los puntos de datos (x1, y1), . . . , (xn, yn) parecen situarse por unidad sobre algún tipo de parábola en lugar de en línea recta. Por ejemplo, si la coordenada x denota el nivel de producción de una compañía y y denota el costo promedio por uni- Unidades producidas dad de operación en un nivel de x unidades por día, entonces una curva típica de costos promedio semeja una parábola que se abre hacia arriba (figura 3). En ecología se usa FIGURA 3 Curva de costo x una curva parabólica abierta hacia abajo para modelar la producción primaria neta de promedio. nutrimentos en una planta en función del área superficial del follaje (figura 4). Suponga que se desea aproximar los datos mediante una ecuación de la forma y = β0 + β1x + β2x2 (3) Describa el modelo lineal que produce un “ajuste por mínimos cuadrados” de los datos mediante la ecuación (3). Solución La ecuación (3) describe la relación ideal. Suponga que los valores reales de y los parámetros son β0, β1, β2. Entonces las coordenadas del primer punto de datos (x1, y1) satisfacen una ecuación de la forma Producción primaria y1 = β0 + β1x1 + β2x12 + 1 neta donde 1 es el error residual entre el valor observado y1 y el valor y pronosticado β0 + β1x1 + β2x12. Cada uno de los puntos de datos determina una ecuación similar: x y1 = β0 + β1x1 + β2x12 + 1 y2 = β0 + β1x2 + β2x22 + 2 Área de la superficie ... ... del follaje yn = β0 + β1xn + β2xn2 + n FIGURA 4 Producción de nutrimentos.

6.6 Aplicaciones a modelos lineales 423 Es una cuestión sencilla escribir este sistema de ecuaciones en la forma y = Xβ + . Para encontrar X, se inspeccionan algunas de las primeras filas del sistema y se busca el patrón. ⎡⎤⎡ x12 ⎤ ⎡ ⎤ y1 1 x1 x22 ⎡ ⎤ ⎢⎢⎣⎢ ⎢⎣⎢⎢ ⎥⎥⎦⎥ ⎢⎢⎣⎢ x2 ... ⎥⎥⎥⎦⎣ β0 ⎦ 1 ⎦⎥⎥⎥ ... xn2 β1 y2 = 1 β2 + 2 ... ... xn ... yn 1 n y= X β+ ❙❙❙❙❘❙❙❙❙❚ y EJEMPLO 3 Si los puntos de datos tienden a seguir un patrón como el de la figura 5, entonces un modelo apropiado podría tener una ecuación de la forma x FIGURA 5 Puntos de datos sobre y = β0 + β1x + β2x2 + β3x3 una curva cúbica. Datos así podrían provenir, por ejemplo, de los costos totales de una compañía, como una función del nivel de producción. Describa el modelo lineal que proporciona un ajus- te por mínimos cuadrados de este tipo a datos como (x1, y1), . . . , (xn, yn). Solución Por medio de un análisis semejante al del ejemplo 2, se obtiene Vector de Matriz de Vector Vector diseño parámetro observación residual x1 x12 ⎡⎤ ⎡ 1 x2 x22 x13 ⎤ ⎡⎤ ⎡⎤ y1 ... ... ⎣⎢⎢⎢ ⎥⎦⎥⎥ , ⎢⎣⎢⎢ xn xn2 ⎥⎥⎥⎦ β0 ⎣⎢⎢⎢ 1 ⎥⎦⎥⎥ y = y2 X = 1 x23 , β = ⎣⎢⎢ β1 ⎥⎥⎦ , = 2 ... ... ... β2 ... yn 1 xn3 β3 n ❙❙❙❙❘❙❙❙❙❚ Regresión múltiple Suponga que cierto experimento implica dos variables independientes —por ejemplo, u y v— y una variable dependiente, y. Una ecuación sencilla para predecir y a partir de u y v tiene la forma y = β0 + β1u + β2v (4) Una ecuación más general de predicción podría tener la forma (5) y = β0 + β1u + β2v + β3u2 + β4uv + β5v2 Esta ecuación se usa en geología, por ejemplo, para modelar superficies de erosión, circos glaciales, pH del suelo y otras cantidades. En tales casos, el ajuste por mínimos cuadrados se denomina superficie de tendencia. Tanto (4) como (5) llevan a un modelo lineal porque son lineales en los parámetros desconocidos (aunque u y v estén multiplicadas). En general, surgirá un modelo lineal siempre que se deba predecir y a partir de una ecuación de la forma y = β0f0(u, v) + β1f1(u, v) + · · · + βkfk(u, v) donde f0, . . . , fk son cualquier tipo de funciones conocidas y β0, . . . , βk son pesos des- conocidos.

424 Capítulo 6 Ortogonalidad y mínimos cuadrados EJEMPLO 4 En geografía, se estructuran modelos locales de terreno a partir de datos (u1, v1, y1), . . . , (un, vn, yn), donde uj, vj y yj son latitud, longitud y altitud, respectiva- mente. Describa el modelo lineal basado en (4) que proporciona un ajuste por mínimos cuadrados a datos de este tipo. La solución es el plano de mínimos cuadrados. Vea la figura 6. FIGURA 6 Un plano de mínimos cuadrados. Solución Se espera que los datos satisfagan las siguientes ecuaciones: y1 = β0 + β1u1 + β2v1 + 1 y2 = β0 + β1u2 + β2v2 + 2 ... ... yn = β0 + β1un + β2vn + n Este sistema tiene la forma matricial y = Xβ + , donde Vector Matriz de Vector Vector parámetro observación diseño residual ⎡⎤ ⎡⎤ ⎡⎤ ⎡ u1 v1 ⎤ β0 y1 1 ⎢⎢⎢⎣ ⎥⎦⎥⎥ ⎢⎢⎢⎣ ⎥⎥⎦⎥ β = ⎣ β1 ⎦ , ⎢⎣⎢⎢ 1 ⎥⎥⎥⎦ β2 y = y2 , X = 1 u2 v2 , = 2 ... ... ... ... ... yn 1 un vn n ❙❙❙❙❘❙❙❙❙❚ SG La geometría de un modelo El ejemplo 4 muestra que el modelo lineal para la regresión múltiple tiene la misma lineal 6 a 19 forma abstracta que el modelo para la regresión simple de los ejemplos anteriores. El ál- (The Geometry of a Linear gebra lineal permite comprender el principio general en que se basan todos los modelos Model 6-19) lineales. Una vez que X está definida adecuadamente, las ecuaciones normales para β tienen la misma forma matricial, sin importar cuántas variables intervengan. Entonces, para cualquier modelo lineal donde XTX sea invertible, la βˆ de mínimos cuadrados está dada por (XTX)−lXTy. Lecturas adicionales Ferguson, J., Introduction to Linear Algebra in Geology (Nueva York: Chapman & Hall, 1994). Krumbein, W. C. y F. A. Graybill, An Introduction to Statistical Models in Geology (Nueva York: McGraw-Hill, 1965). Legendre, P. y L. Legendre, Numerical Ecology (Amsterdam: Elsevier, 1998). Unwin, David J., An Introduction to Trend Surface Analysis, Concepts and Techniques in Modern Geography, núm. 5 (Norwich, Inglaterra: Geo Books, 1975).

6.6 Aplicaciones a modelos lineales 425 PROBLEMA DE PRÁCTICA Cuando las ventas mensuales de un producto están sujetas a fluctuaciones de temporada, una curva que aproxime los datos de ventas podría tener la forma y = β0 + β1x + β2 sen (2πx/12) donde x es el tiempo en meses. El término β0 + β1x proporciona la tendencia básica de las ventas, y el término seno refleja los cambios por temporada de las ventas. Proporcio- ne la matriz de diseño y el vector de parámetros apropiados para el modelo lineal que conduzca a un ajuste de la ecuación anterior por mínimos cuadrados. Suponga que los datos son (x1, y1), . . . , (xn, yn). 6.6 EJERCICIOS ventas x, tiene la forma y = β1x + β2x2 + β3x3. No existe tér- mino constante porque no están incluidos los costos fijos. En los ejercicios 1 a 4, encuentre la ecuación y = β0 + β1x de la línea de mínimos cuadrados que mejor se ajuste a los puntos de a. Proporcione la matriz de diseño y el vector de parámetro datos proporcionados. para el modelo lineal que conduzca a un ajuste por míni- mos cuadrados de la ecuación anterior, con los datos (x1, 1. (0, 1), (1, 1), (2, 2), (3, 2) y1), . . . , (xn, yn). 2. (1, 0), (2, 1), (4, 2), (5, 3) b. [M] Encuentre la curva de mínimos cuadrados de la forma anterior que se ajuste a los datos (4, 1.58), (6, 2.08), (8, 3. (−1, 0), (0, 1), (1, 2), (2, 4) 2.5), (10, 2.8), (12, 3.1), (14, 3.4), (16, 3.8), (18, 4.32), con valores en millares. De ser posible, trace una gráfica que 4. (2, 3), (3, 2), (5, 1), (6, 0) muestre los puntos de datos y la curva de la aproximación cúbica. 5. Sea X la matriz de diseño usada para encontrar la línea de mínimos cuadrados que se ajuste a los datos (x1, y1), . . . , (xn, 9. Cierto experimento produce los datos (1, 7.9), (2, 5.4) y (3, yn). Utilice un teorema de la sección 6.5 para mostrar que −.9). Describa el modelo que produce un ajuste por mínimos las ecuaciones normales tienen una solución única si, y sólo cuadrados a estos puntos mediante una función de la forma si, los datos incluyen por lo menos dos puntos de datos con coordenadas x diferentes. y = A cos x + B sen x 6. Sea X la matriz de diseño del ejemplo 2 correspondiente al 10. Suponga que las sustancias radiactivas A y B tienen coefi- ajuste por mínimos cuadrados de una parábola a los datos (x1, y1), . . . , (xn, yn). Suponga que x1, x2, x3 son distintos. Explique cientes de decaimiento de .02 y .07, respectivamente. Si una por qué sólo hay una parábola con un mejor ajuste a los datos, mezcla de estas dos sustancias en el tiempo t = 0 contiene MA en un sentido de mínimos cuadrados. (Vea el ejercicio 5.) gramos de A y MB gramos de B, entonces un modelo para la cantidad total y de la mezcla presente en el tiempo t es 7. Cierto experimento produce los datos (1, 1.8), (2, 2.7), (3, 3.4), (4, 3.8) y (5, 3.9). Describa el modelo que produce un y = MAe−.02t + MBe−.07t (6) ajuste por mínimos cuadrados a estos puntos mediante una función de la forma Suponga que las cantidades iniciales MA, MB se desconocen, pero que un científico puede medir la cantidad total presente y = β1x + β2x2 en diferentes tiempos y registra los siguientes puntos (ti, yi): (10, 21.34), (11, 20.68), (12, 20.05), (14, 18.87) y (15, Dicha función podría surgir, por ejemplo, como las ganancias 18.30). por la venta de x unidades de un producto, cuando la cantidad ofrecida en venta afecta el precio que se asignará al producto. a. Describa un modelo lineal que pueda usarse para estimar MA y MB. a. Proporcione la matriz de diseño, el vector de observación, y el vector de parámetro desconocido. b. [M] Encuentre la curva de mínimos cuadrados basada en (6). b. [M] Encuentre la curva de mínimos cuadrados asociada para los datos. 8. Una curva sencilla que a menudo es un buen modelo para los costos variables de una compañía, como función del nivel de

426 Capítulo 6 Ortogonalidad y mínimos cuadrados w 44 61 81 113 131 ln w 3.78 4.11 4.41 4.73 4.88 p 91 98 103 110 112 El cometa Halley apareció por última vez en 1986 y reaparecerá 13. [M] Para medir el desempeño de un avión durante el despe- en 2061. gue, se midió su posición horizontal cada segundo, desde t = 0 hasta t = 12. Las posiciones (en pies) fueron: 0, 8.8, 11. [M] Según la primera ley de Kepler, un cometa debe tener 29.9, 62.0, 104.7, 159.1, 222.0, 294.5, 380.4, 471.1, 571.7, una órbita elíptica, parabólica o hiperbólica (ignorando la 686.8, 809.2. atracción gravitacional de los planetas). En coordenadas po- lares adecuadas, la posición (r, ϑ) de un cometa satisface una a. Encuentre la curva cúbica de mínimos cuadrados y = β0 + ecuación de la forma β1t + β2t2 + β3t3 para estos datos. r = β − e(r · cos ϑ) donde β es una constante y e es la excentricidad de la órbita, b. Utilice el resultado de (a) para estimar la velocidad del con 0 ≤ e < 1 para una elipse, e = 1 para una parábola, y e avión cuando t = 4.5 segundos. > 1 para una hipérbola. Suponga que las observaciones de un cometa recientemente descubierto proporcionan los datos 11 siguientes. Determine el tipo de órbita y pronostique dónde 14. Sean x = n (x1 + · · · + xn) y y = n (y1 + · · · + yn). Muestre estará el cometa cuando ϑ = 4.6 (radianes).2 que la línea de mínimos cuadrados para los datos (x1, y1), . . . , ϑ .88 1.10 1.42 1.77 2.14 (xn, yn) debe pasar por (x, y). Esto es, muestre que x y y sa- r 3.00 2.30 1.65 1.25 1.01 tisfacen la ecuación lineal y = βˆ0 + βˆ1x. [Sugerencia: Derive esta ecuación de la ecuación vectorial yˆ = Xβˆ + . Denote la 12. [M] La presión arterial sistólica de un niño sano (en milíme- primera columna de X mediante 1. Utilice el hecho de que el tros de mercurio) y el peso w (en libras) se relacionan aproxi- vector residual es ortogonal al espacio de columnas de X y, madamente por la ecuación por ende, ortogonal a 1.] β0 + β1 ln w = p Utilice los siguientes datos experimentales para estimar la Dados los datos para un problema de mínimos cuadrados, (x1, y1), presión arterial sistólica de un niño sano que pesa 100 libras. . . . , (xn, yn), las siguientes abreviaturas resultan muy útiles: 2La idea básica del ajuste por mínimos cuadrados a los datos se debe a x= n xi , x2 = n xi2, K. F. Gauss (e independientemente, a A. Legendre), cuya fama comenzó y= i=1 xy = i=1 a crecer en 1801 cuando utilizó el método para determinar la trayectoria del asteroide Ceres. Cuarenta días después de haberse descubierto el n yi , n xi yi asteroide, desapareció tras el Sol. Gauss pronosticó que aparecería diez i=1 i=1 meses después y dio su posición. Lo preciso del pronóstico sorprendió a la comunidad científica europea. Las ecuaciones normales para una línea de mínimos cuadrados y = βˆ0 + βˆ1x pueden escribirse en la forma nβˆ0 + βˆ1 x = y (7) βˆ0 x + βˆ1 x2 = xy 15. Deduzca las ecuaciones normales (7) a partir de la forma ma- tricial dada en esta sección. 16. Use una matriz inversa para resolver el sistema de ecuaciones (7) y obtener así fórmulas para βˆ0 y βˆ1, las cuales aparecen en muchos textos de estadística. 17. a. Vuelva a escribir los datos del ejemplo 1 con nuevas co- ordenadas x en forma de desviación media. Sea X la matriz de diseño asociada. ¿Por qué son ortogonales las colum- nas de X? b. Escriba las ecuaciones normales para los datos del inciso (a), y resuélvalas para encontrar la línea de mínimos cua- drados, y = β0 + β1x*, donde x* = x − 5.5. 18. Suponga que las coordenadas x de los datos (x1, y1), . . . , (xn, yn) están en forma de desviación media, de manera que