Материалы к курсу “Алгебра”часть II

Д.В. Громов

2 апреля 2020 г.

Оглавление

1 Линейная алгебра 31.1 Линейные (векторные) пространства . . . . . . . . . . . . . . . . . . . . . . . . 3

1.1.1 Линейные пространства и подпространства . . . . . . . . . . . . . . . . 31.1.2 Сумма подпространств. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Задачи и вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.2 Конечномерные векторные пространства . . . . . . . . . . . . . . . . . . . . . 8

1.2.1 Линейная оболочка . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.2.2 Линейная независимость. . . . . . . . . . . . . . . . . . . . . . . . . . . 91.2.3 Базис линейного пространства . . . . . . . . . . . . . . . . . . . . . . . 101.2.4 Размерность линейного пространства . . . . . . . . . . . . . . . . . . . 121.2.5 Канонический базис . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Задачи и вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.3 Линейные отображения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

1.3.1 Понятие линейного оператора, его свойства . . . . . . . . . . . . . . . . 161.3.2 Ядро и образ линейного оператора . . . . . . . . . . . . . . . . . . . . . 171.3.3 Изоморфизм векторных пространств. Координатное

представление элементов векторных пространств . . . . . . . . . . . . 191.3.4 Преобразование базиса . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221.3.5 Отношение эквивалентности матриц . . . . . . . . . . . . . . . . . . . . 24

*1.3.6 Факторпространство по подмножеству . . . . . . . . . . . . . . . . . . . 261.3.7 Матричное представление линейного отображения.

Структура и свойства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261.3.8 Системы линейных алгебраических уравнений

с операторной точки зрения . . . . . . . . . . . . . . . . . . . . . . . . . 28Задачи и вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

1.4 Геометрия линейных пространств . . . . . . . . . . . . . . . . . . . . . . . . . . 311.4.1 Норма вектора . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

*1.4.2 Операторная норма . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321.4.3 Скалярное произведение . . . . . . . . . . . . . . . . . . . . . . . . . . . 341.4.4 Ортогональная проекция. Ортогональное дополнение . . . . . . . . . . 361.4.5 Ортонормированный базис. Процедура Грама-Шмидта . . . . . . . . . 391.4.6 Операторы в пространствах со скалярным произведением . . . . . . . 431.4.7 Метод наименьших квадратов . . . . . . . . . . . . . . . . . . . . . . . . 46

Задачи и вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48Проекты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

2 За пределами линейной алгебры 50

1

2.1 Матричные группы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502.2 Приложения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

2.2.1 Pseudo-inverse and least squares . . . . . . . . . . . . . . . . . . . . . . . 502.2.2 Singular value decomposition . . . . . . . . . . . . . . . . . . . . . . . . . 502.2.3 Markov chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502.2.4 Haar wavelet/Haar basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502.2.5 Bernstein polynomials and spline interpolation . . . . . . . . . . . . . . . 50

Литература 51

2

Глава 1

Линейная алгебра

1.1 Линейные (векторные) пространства

1.1.1 Линейные пространства и подпространстваОпределение 1.1.1. Линейным пространством над полем F называется множество Vвместе с операциями сложения, V × V → V , и умножения на скаляр, F × V → V удовле-творяющих аксиомам, перечисленным в таблице 1.1.

Таблица 1.1: Аксиомы линейного пространства

Для любых u,v,w ∈ V и любых α, β ∈ F выполняется:

Сложение Коммутативность u + v = v + u

Ассоциативность (u + v) + w = u + (v + w)

Нейтральный элемент u + 0 = u, 0 ∈ VОбратный элемент u + (−u) = 0, −u ∈ V

Умножение на скаляр Ассоциативность (αβ)u = α(βu)

Дистрибутивность (α+ β)u = αu + βu

α(u + v) = αu + αv

Унитарность 1 · u = u.

Для определенности договоримся обозначать элементы векторного пространства (т.е. век-торы) полужирными строчными буквами, а линейные (под)пространства – заглавными бук-вами латинского алфавита.

Лемма 1.1.1. Линейное пространство удовлетворяет следующим свойствам:

1. Нейтральный элемент относительно сложения определен единственным образом.

2. Для любого u ∈ V существует единственный противоположный ему вектор (−u) ∈V , который определяется как (−u) = (−1) · u.

3. Для любого u ∈ V выполняется 0 · u = 0.

3

4. Для любого α ∈ F выполняется α · 0 = 0.

Доказательство. Докажем последние два пункта. Первые свойства доказываются ана-логично соответствующим свойствам поля.

3. Запишем v = (1+0) ·v = v+0 ·v. Прибавляя к обеим частям равенства (−v) получим0 = 0 · v.

4. Используя п. 3 запишем: α · 0 = α · (0 · v) = (α · 0) · v = 0 · v = 0.

Пример 1.1.1. Примеры векторных пространств включают себя как множества “обычных”векторов с элементами из R или C, так и множества, состоящие из более сложных объектов,например пространства матриц или бесконечных последовательностей:

Fn =

v1...vn

∣∣∣∣vi ∈ F , Fn×m =

v11 . . . v1m...

. . ....

vn1 . . . vnm

∣∣∣∣vij ∈ F , F∞ = {(vi)∞i=1|vi ∈ F} .

Векторным пространством является множество всех функций из S в F , где S – произволь-ное непустое множество. Это векторное пространство обозначается как FS . Множество по-линомов из F [x] степени, не превышающей n, является векторным пространством над F иобозначается PFn (или просто Pn). � Проверьте, что перечисленные множества удовлетворяютсвойствам векторных пространств. �

Линейное подпространство. В линейной алгебре понятие линейного подпространстваиграет возможно даже большую роль, чем понятие линейного пространства. В то время каклинейное пространство представляет собой “весь мир”, линейные подпространства появля-ются при решении конкретных задач из области линейных (дифференциальных) уравнений,дифференциальной геометрии, случайных процессов и т. д.

Определение 1.1.2. Множество W ⊂ V называется линейным подпространством V еслиW является линейным пространством относительно операций сложения и умножения наскаляр, унаследованных от V .

Пример 1.1.2. Очевидно, что W = {0} и W = V являются подпространствами V . Приме-ром подпространства V = R3 является, например, множество

W =

w1

w2

w3

∈ R3|w1 + w2 − w3 = 0

.

Множество решений однородной системы Ax = 0 с матрицей A размерности n×m являетсялинейным подпространством Rn. Множество всех диагональных матриц размерности n ×n с элементами из F является подпространством Fn×n, а множество всех бесконечныхпоследовательностей с элементами из F и сходящихся к нулю будет образовывать линейноеподпространство F∞. � Придумайте несколько примеров подмножеств, которые являются (неявляются) линейными подпространствами некоторых векторных пространств. �

Для определения, будет ли некоторое подмножество V его линейным подпространством,можно использовать следующий тест.

4

Лемма 1.1.2. Множество W ⊂ V является линейным подпространством V тогда итолько тогда, когда1

1. {0} ∈W ,

2. u + w ∈W ∀u,w ∈W ,

3. αw ∈W ∀α ∈ F, w ∈W .

Доказательство. Если W есть векторное подпространство, то перечисленные свойстваследуют по определению. Обратно, перечисленные условия гарантируют существованиенейтрального элемента и замкнутость W относительно сложения и умножения на ска-ляр. Коммутативность, ассоциативность и дистрибутивность естественным образом насле-дуются от V . Наконец, последнее свойство гарантирует существование обратного элемента:(−u) = (−1) · u.

В дальнейшем мы будем часто опускать определение линейное, говоря о подпространствах.Кроме того, мы будем полагать, что из контекста всегда понятно, в каком векторном про-странстве “живут” наши подпространства и над каким полем они определены. По умолча-нию, все подпространства полагаются принадлежащими векторному пространству V надполем F .

1.1.2 Сумма подпространств.Определение 1.1.3. Суммой подпространств U1, . . . , Un называется множество

U1 + · · ·+ Un = {u1 + · · ·+ un|ui ∈ Ui}.

Определение 1.1.4. Сумма подпространств U1 + . . . + Un называется прямой и обозна- U1 ⊕ U2

чается U1 ⊕ . . . ⊕ Un, если каждый элемент u ∈ U1 + · · · + Un может быть однозначнопредставлен в виде суммы u = u1 + · · ·+ un, где ui ∈ Ui.

Пример 1.1.3. Рассмотрим два подпространства R3:

U =

u1u2

0

∈ R3|u1, u2 ∈ R

и V =

0v2v3

∈ R3|v2, v3 ∈ R

.

Можно заметить, что U + V = R3, т.е. сумма U и V совпадает со всем пространством R3,однако эта сумма не является прямой: U + V 6= U ⊕ V . Это связано с тем, что для любогоx ∈ R, выражение x = u2 + v2 не определяет однозначно значения u2 и v2.

Следующие теоремы позволяют точно охарактеризовать подмножества, образующие пря-мую сумму.

Теорема 1.1.3. Сумма U1 + . . . + Un является прямой тогда и только тогда, когдаединственный способ записи нулевого вектора 0 в виде суммы 0 = u1 + · · ·+un, ui ∈ Ui,заключается в выборе ui = 0 для всех i = 1, . . . , n.

1Обратите внимание, что первый пункт не является необходимым и может быть опущен без именениясмысла результата. � Объясните, почему? �

5

Доказательство. 1. Если U1 + . . . + Un = U1 ⊕ . . . ⊕ Un, то, по определению пря-мой суммы, нулевой вектор может быть представлен единственным (и тривиальным)образом в виде суммы нулевых элементов Ui.

2. Предположим, что вектор v ∈ U1 + · · ·+Un может быть представлен двумя способамив виде суммы векторов из Ui: v = u1 + · · · + un и v = w1 + · · · + wn, где ui,wi ∈ Ui.Вычитая второе выражение из первого получим

0 = (u1 −w1) + · · ·+ (un −wn).

Поскольку, по условию, 0 может быть единственно представлен в виде суммы нулевыхвекторов, имеем ui − wi = 0, откуда следует, что ui = wi, т. е. оба представлениясовпадают.

Теорема 1.1.4. Сумма двух подпространств U + V является прямой тогда и толькотогда, когда U ∩ V = {0}.

Доказательство. 1. Положим, что U + V = U ⊕ V . Если v ∈ U ∩ V , то (−v) ∈ U ∩ V .Следовательно мы можем записать 0 = v + (−v). Однако по теореме 1.1.3, нулевойвектор однозначно представляется в виде суммы нулевых векторов. Это значит, чтоv = 0 и, следовательно, U ∩ V = {0}.

2. Теперь предположим, что U ∩ V = {0}. Пусть нулевой вектор представляется в виде0 = u + v, где u ∈ U , v ∈ V . По определению векторного сложения, v = (−u) ∈ U .Следовательно, v ∈ U ∩ V = {0}. Аналогично, u = 0. Из теоремы 1.1.3 следует, чтоU + V – прямая сумма.

Задачи и вопросы1. Будут ли являться линейными подпространствами множество симметрических матриц размера n×n,

Sn ⊂ Rn×n, и множество косо-симметрических матриц размера n×n, An ⊂ Rn×n? Если да, то чемуравна сумма Sn +An? Будет ли эта сумма прямой?

2. Какие из следующих матриц размерности n×n образуют линейное подпространство Rn×n: a) нижниетреугольные матрицы, b) унитарные нижние треугольные, c) вырожденные матрицы, det(B) = 0,d) невырожденные матрицы, det(B) 6= 0, e) ортогональные матрицы, BB> = E, f) диагональныематрицы?

3. Докажите, что множество дважды непрерывно дифференцируемых функций из R в R, удовлетворя-ющих уравению d2f

dx2+ f = 0 является линейным подпространством множества функций из R в R.

Приведите пример элементов указанного подпространства.

4. Пусть Ue и Uo – множества четных и нечетных функций из R в R. Покажите, что эти множестваявляются подпространствами. Докажите, что Ue + Uo = Ue ⊕ Uo = RR.

5. Рассмотрим множество полиномов степени k ≤ n из F [x]. Будет ли это множество образовыватьподпространство в PFn ?

6. Предложите пример подмножества R2, которое замкнуто относительно операций сложения и взятияобратного элемента, но не является подпространством.

7. Предложите пример подмножества R2, которое замкнуто относительно операции умножения на ска-ляр, но не является подпространством.

8. Пусть U1 и U2 – два подпространства V . Докажите, что U1 ∩ U2 также будет подпространством V .Будет ли являться подпространством объединение U1 ∪ U2?

6

9. Пусть V и W – два векторных пространства. Определим декартово произведение V ×W как мно-жество всех упорядоченных пар (v,w), где v ∈ V , w ∈ W . Покажите, что V ×W также являетсявекторным пространством если задать операции сложения и умножения на скаляр покомпонентно:(v′,w′) + (v′′,w′′) = (v′ +v′′,w′ +w′′), α(v,w) = (αv, αw). Являются ли V и W подпространствамиV ×W? Как можно представить V ×W в виде прямой суммы двух подпространств?

10. Можно ли разложить R3 в прямую сумму 2,3,4 подпространств? Рассмотрите каждый случай поотдельности. Если да, то предложите примеры, если нет – объясните, почему.

11∗. Покажите, что положительный квадрант R2+ =

{[xy

]|x, y > 0

}будет являться векторным простран-

ством над R, если определить операции сложения и умножения на скаляр как[x1y1

]+

[x2y2

]=

[x1x2y1y2

], α

[xy

]=

[xα

yα

].

Приведите пример линейного подпространства R2+. Покажите как можно представить R2

+ в видепрямой суммы своих подпространств.

7

1.2 Конечномерные векторные пространства

1.2.1 Линейная оболочкаОпределение 1.2.1. Пусть vi ∈ V , i = 1, . . . , n, есть набор векторов из V . Линейнойкомбинацией векторов {v1, . . . ,vn} с коэффициентами αi ∈ F называется взвешенная сумма

α1v1 + · · ·+ αnvn.

Множество всех линейных комбинаций векторов {v1, . . . ,vn} называется их линейной обо-лочкой и обозначается span(v1, . . . ,vn):

span(v1, . . . ,vn) = {α1v1 + · · ·+ αnvn|αi ∈ F, i = 1, . . . , n}. (1.1)

Лемма 1.2.1. Линейная оболочка span(v1, . . . ,vn) является наименьшим подпростран-ством V , содержащим все векторы vi. span(v1, ..,vn)

Доказательство. 1. Для начала покажем, что W = span(v1, . . . ,vn) действительноявляется подпространством V . Полагая αi = 0 получаем 0 ∈ W . Кроме того, из (1.1)следует, что W замкнуто относительно операций сложения и умножения на скаляр.Согласно лемме 1.1.2, W является подпространством V .

2. Очевидно, что линейная оболочка span(v1, . . . ,vn) содержит все векторы vi. В тоже время, поскольку каждое подпространство по определению замкнуто относитель-но сложения и умножения на скаляр, любое подпространство, содержащее векторы{v1, . . . ,vn}, будет также содержать их линейную оболочку.

Понятие линейной оболочки может быть обобщено на случай произвольного подмножествалинейного пространства V .

Определение 1.2.2. Пусть W ⊂ V – некоторое, не обязательно конечное подмножествопространства V . Линейная оболочка span(W ) определяется как пересечение всех подпро-странств V , содержащих W .

Пусть V = span(W ). Мы будем говорить, что подмножество W порождает V или что Vнатянуто на подмножество W .

Определение 1.2.3. Пространство V называется конечномерным если оно совпадает слинейной оболочкой некоторого конечного набора векторов vi ∈ V или, иначе говоря, еслиV порождается некоторым конечным набором векторов. В противном случае пространствоназывается бесконечномерным.

Исследование конечномерных линейных пространств является предметом линейной ал-гебры, тогда как бесконечномерные пространства (например, пространство непрерывныхфункций или пространство бесконечных последовательностей) изучаются в рамках функ-ционального анализа и в данном курсе рассматриваться не будут.

Итак, мы будем рассматривать только те линейные пространства, которые могут быть пред-ставлены как линейные оболочки некоторого конечного числа своих элементов (векторов).В следующих разделах мы частично ответим на вопрос о том, как выбирать эти векторы ипочему один набор векторов может оказаться лучше другого.

8

1.2.2 Линейная независимость.Определение 1.2.4. Набор векторов {v1, . . . ,vn} называется линейно-независимым есливыражение

α1v1 + · · ·+ αnvn = 0 (1.2)

выполняется только при αi = 0 для всех i = 1, . . . , n. В противном случае, т.е. еслисуществует набор коэффициентов αi ∈ F , из которых по меньшей мере один не равен нулю,такой, что выполняется (1.2), то векторы {v1, . . . ,vn} называются линейно-зависимыми.

Лемма 1.2.2. Пусть {v1, . . . ,vn} – набор линейно зависимых векторов. Тогда существу-ет такой индекс 1 ≤ k ≤ n, что для вектора vk верно следующее:

1. vk ∈ span(v1, . . . ,vk−1,vk+1, . . . ,vn),

2. span(v1, . . . ,vk−1,vk+1, . . . ,vn) = span(v1, . . . ,vn).

Доказательство. 1. Поскольку набор {v1, . . . ,vn} является линейно-зависимым, тосуществуют такие коэффицииенты αi, не все раные нулю, что выполняется (1.2). Вы-берем в качестве k индекс первого ненулевого коэффициента αk 6= 0 и выразим vk:

vk =∑i 6=k

αiαk

vi. (1.3)

Таким образом, vk может быть представлен в виде линейной комбинации остальныхn− 1 векторов.

2. Рассмотрим некоторый вектор u ∈ span(v1, . . . ,vn). Этот вектор может быть пред-ставлен в виде суммы

u =

n∑i=1

βivi.

Подставляя в это выражение vk из (1.3) получаем, что u может быть представленв виде линейной комбинации векторов из набора {v1, . . . ,vn} \ {vk}, что доказываетвторую часть леммы.

Можно сформулировать следующее практически важное следствие из леммы 1.2.2.

Следствие 1.2.3. В любом множестве векторов, порождающих пространство V , можновыделить подмножество линейно-независимых векторов, чья линейная оболочка совпада-ет с V .

Доказательство этого результата оставляется в качестве самостоятельного упражнения.

Следующая, достаточно техническая лемма окажется очень важной при определении по-нятия размерности линейного пространства.

Лемма 1.2.4. Пусть набор n векторов {v1, . . . ,vn} порождает пространство V , т.е.V = span(v1, . . . ,vn). Тогда пространство V не может содержать больше n линейно-независимых векторов.

9

Доказательство. Будем доказывать от противного. А именно, предположим, что V со-держит k > n линейно-независимых векторов {u1, . . . ,uk}. Все векторы ui отличны отнулевого вектора2 и принадлежат V . Поскольку V = span(v1, . . . ,vn), мы можем записатьu1 в виде линейной комбинации векторов {v1, . . . ,vn}:

u1 = α1v1 + · · ·+ αnvn,

где по крайней мере один коэффициент αi не равен нулю (в противном случае мы быполучили u1 = 0). Соберем все члены выражения в левой части:

u1 − α1v1 − · · · − αnvn = 0. (1.4)

Поскольку равенство выполняется при ненулевых значениях коэффициентов, мы заклю-чаем, что множество векторов {u1,v1, . . . ,vn} является линейно-зависимым. Поэтому полемме 1.2.2 мы можем “выбросить” из этого множества один вектор vi (тот, у которогоαi 6= 0) и при этом оставшийся набор векторов будет порождать V .

Будем повторять ту же процедуру для векторов u2, u3, и так далее вплоть до um, m < n.Предположим, что после m-го шага (и, при необходимости, после переобозначения индек-сов) у нас получился набор {u1, . . . ,um,vm+1, . . . ,vn}. Поскольку, по построению, этот на-бор порождает V , мы можем представить um+1 в виде линейной комбинации векторов из{u1, . . . ,um,vm+1, . . . ,vn} и записать по аналогии с (1.4):

um+1 − β1u1 − · · · − βmum − βm+1vm+1 − · · · − βnvn = 0, (1.5)

т.е. набор векторов {u1, . . . ,um,um+1,vm+1, . . . ,vn} является линейно-зависимым. Посколь-ку um+1 6= 0, в разложении (1.5) есть по крайней мере один ненулевой коэффициент. Пред-положим, что все коэффициенты при vm+1, . . . ,vn равны нулю. Тогда оказывается, чтонабор {u1, . . . ,um,um+1} является линейно-зависимым, что противоречит условию3. Сле-довательно существует такой индекс j, m + 1 ≤ j ≤ n, что βj 6= 0. В очередной раз вос-пользуемся леммой 1.2.2 и “выбросим” из набора {u1, . . . ,um,um+1,vm+1, . . . ,vn} векторvj .

Следуя той же схеме мы в конце концов замещаем все векторы vi в нашем исходном наборена векторы ui, i = 1, . . . , n. При этом новый, получившийся после замены набор все так жепорождает V :

V = span(u1, . . . ,un).

Это значит, что любой из оставшихся векторов uj , j = n+ 1, . . . , k может быть представленв виде линейной комбинации векторов {u1, . . . ,un}. Однако это противоречит тому, чтовекторы {u1, . . . ,uk} линейно-независимы.

1.2.3 Базис линейного пространстваОпределение 1.2.5. Базисом линейного пространства V , обозначается B(V ), называется B(V )набор линейно-независимых векторов {v1, . . . ,vn} такой, что V = span(v1, . . . ,vn).

Теорема 1.2.5. Набор векторов {v1, . . . ,vn} является базисом V тогда и только тогда,когда любой вектор u ∈ V может быть единственным образом представлен в видесуммы

u = α1v1 + · · ·+ αnvn. (1.6)2См. задание 3 в конце раздела.3См. задание 4 в конце раздела.

10

В этом случае выражение (1.6) называется разложением u по базису {v1, . . . ,vn}, а ко-эффициенты αi называются координатами вектора u в базисе {v1, . . . ,vn}.

Доказательство. 1. Предположим, что набор {v1, . . . ,vn} является базисом V . Поопределению, V = span(v1, . . . ,vn) и следовательно, любой вектор u ∈ V может бытьпредставлен в виде линейной комбинации элементов из {v1, . . . ,vn}. Предположим,что это представление неединственно, т.е. мы можем записать u двумя разными спо-собами:

u = α1v1 + · · ·+ αnvn,

u = β1v1 + · · ·+ βnvn.

Вычитая второе уравнение из первого, получим

0 = (α1 − β1)v1 + · · ·+ (αn − βn)vn.

Это означает, что αi−βi = 0 ∀i = 1, . . . , n поскольку векторы vi линейно-независимы.Таким образом, представление (1.6) существует и единственно.

2. Теперь положим, что любой вектор u ∈ V может быть представлен в виде (1.6). Изэтого следует, что V = span(v1, . . . ,vn). Если бы набор {v1, . . . ,vn} являлся линейно-зависимым, то можно было бы выбрать такие коэффициенты αi ∈ F , не все равныенулю, что выполнялось бы выражение (1.2). Однако, по условию, вектор 0 ∈ V мо-жет быть единственным образом представлен в виде суммы (1.2) и, очевидно, этопредставление соответствует αi = 0 ∀i = 1, . . . , n. Таким образом мы приходим к про-тиворечию. Следовательно, векторы {v1, . . . ,vn} являются линейно-независимыми и,по определению, задают базис V .

Обратите внимание, что разложение по базису зависит не только от базисных векторов,но и от порядка их расположения. В дальнейшем мы будем часто рассматривать базискак упорядоченный набор векторов и в этом случае будем записывать набор базисныхвекторов в круглых скобках4. В том случае, когда это не будет приводить к двусмыслен-ностям, мы будем идентифицировать вектор с его координатами в некотором стандартном(каноническом) базисе5. Если будет необходимо явно указать, к какому базису относятсякоординаты, будем писать [v]B. [v]B

Сформулируем ряд полезных утверждений относительно базиса линейного пространства.

Лемма 1.2.6. Верны следующие утверждения:

1. В наборе векторов {v1, . . . ,vn}, порождающих V , можно выделить подмножество,являющееся базисом V .

2. Любое конечномерное линейное пространство обладает базисом.

3. Любой набор линейно-независимых векторов {v1, . . . ,vm}, принадлежащих V , мо-жет быть дополнен до базиса V .

4В математике используется следующее соглашение: множество из n элементов x1, . . . , xn обозначаетсякак {x1, . . . , xn}, а упорядоченный набор тех же элементов (кортеж, англ. tuple) – как (x1, . . . , xn).

5См. раздел 1.2.5

11

Доказательство. Доказательство приведенных утверждений может быть проведено са-мостоятельно следуюя следующим указаниям:

1. переформулировка следствия 1.2.3;

2. следует из определения конечномерного линейного пространства и п. 1;

3. следует схеме доказательства леммы 1.2.4 с заменой ui на vi. При необходимостииспользуем результат п. 1.

Внимательный читатель может задаться вопросом: а что же будет представлять собой базиспространства, содержащего только один нулевой элемент? Можно легко проверить, чтосам нулевой элемент не может быть базисным вектором, так как не выполняется условиелинейной независимости: выражение α · 0 = 0 выполняется для любого значения α ∈ F .Итак, базисом {0} является пустое множество, B({0}) = {}.

Однако имеет ли смысл этот результат? Необходимо показать, что такой выбор базисане противоречит теории, т. е. что для пустого множества выполняется определение 1.2.5.Из определения 1.2.2 следует, что span({}) = {0}, так как пустое множество содержитсяв любом линейном пространстве. Таким образом, линейная оболочка пустого множествасовпадает с {0}. Пустое множество также линейно-независимо, так как единственный на-бор коэффициентов, ассоциированный с пустым множеством сам по себя является пустым.Поэтому утверждение о линейной независимости пустого множества является бессодержа-тельно истиным (англ., vacuous truth), так как следует из ложного утверждения о суще-ствовании набора коэффициентов, удовлетворяющих некоторому свойству.

1.2.4 Размерность линейного пространстваМожно легко заметить, что выбор базиса не является однозначным. В качестве элементар-ного примера можно рассмотреть наборы {v1, . . . ,vn} и {λv1, . . . , λvn}, λ 6= 0. Если одиниз этих набором является базисом V , то второй также будет базисом V . Однако может лислучиться, что два базиса обладают различным числом элементов? На этот вопрос отвечаетследующая важная теорема.

Теорема 1.2.7. Пусть V – некоторое конечномерное пространство, а B1(V ) и B2(V ) –два базиса V . Тогда B1(V ) и B2(V ) содержат одинаковое число элементов (иначе говоря,имеют одинаковую мощность).

Доказательство. Предположим, что B1(V ) = {v1, . . . ,vm}, а B2(V ) = {u1, . . . ,un}. Поопределению, каждый из приведенных наборов a) является линейно-независимым, b) по-рождает V . По лемме 1.2.4, m ≤ n и n ≤ m. Следовательно, n = m.

Этот результат открывает нам дорогу для определения ключевого понятия: размерностивекторного пространства.

Определение 1.2.6. Размерность векторного пространства V , обозначается dim(V ), рав-на числу элементов (базисных векторов) некоторого произвольного базиса B(V ). Размер-ность тривиального векторного пространства равна нулю: dim({0}) = 0.

Следующий результат указывает (относительно) простой способ определения базиса V .

12

Лемма 1.2.8. Пусть V – линейное пространство такое, что dim(V ) = n. Любой набор dim(V )из n линейно-независимых векторов, принадлежащих V , будет образовывать базис V .

Доказательство. Мы помним, что любой набор линейно-независимых векторов можетбыть дополнен до базиса. Однако, в нашем случае число линейно-независимых векторовуже равно числу базисных векторов. Следовательно, наш набор и есть базис.

Наконец, мы сформулируем результат, позволяющий вычислить размерность линейногопространства, если оно может быть представлено в виде суммы двух подпространств.

Теорема 1.2.9 (Грассман6). Пусть U и W – два подпространства конечномерного век-торного пространства V . Тогда размерность суммы U +W равна

dim(U +W ) = dim(U) + dim(W )− dim(U ∩W ). (1.7)

Доказательство. Пусть B(U ∩ W ) = {v1, . . . ,vk}. Согласно п. 3 леммы 1.2.6, наборлинейно-независимых векторов {v1, . . . ,vk} может быть дополнен до базисов U иW : B(U) ={v1, . . . ,vk,u1, . . . ,um} и B(W ) = {v1, . . . ,vk,w1, . . . ,wn}.

Покажем, что B(U +W ) = {v1, . . . ,vk,u1, . . . ,um,w1, . . . ,wn}. Очевидно, что сумма U +Wсовпадает с линейной оболочкой span(v1, . . . ,vk,u1, . . . ,um,w1, . . . ,wn). Осталось доказать,что эта система векторов линейно-независима. Предположим, что это условие не выполня-ется, т.е. выражение

α1v1 + · · ·+ αkvk + β1u1 + · · ·+ βmum + γ1w1 + · · ·+ γnwn = 0

имеет место для некоторых значений коэффициентов, не равных нулю одновременно. Набо-ры векторов {v1, . . . ,vk}, {u1, . . . ,um} и {w1, . . . ,wn} линейно-независимы. Следовательноненулевые коэффициенты не могут все находиться в одной группе α, β или γ. Предполо-жим, что среди коэффициентов β1, . . . , βm есть по крайней мере один ненулевой7. Тогда мыможем записать

β1u1 + · · ·+ βmum = −α1v1 − · · · − αkvk − γ1w1 − · · · − γnwn,

т.е. вектор u = β1u1 + · · ·+ βmum ∈ W . Однако верно также u ∈ U и, следовательно, u ∈U ∩W . Это значит, что для некоторых, не равных одновременно нулю, значениях α′1, . . . , α′kвыполняется β1u1 + · · · + βmum = α′1v1 + · · · + α′kvk, т.е. набор {v1, . . . ,vk,u1, . . . ,um}является линейно-зависимым, что противоречит выбору B(U). Приходим к противоречию,следовательно набор {v1, . . . ,vk,u1, . . . ,um,w1, . . . ,wn} является линейно-независимым и,тем самым, составляет базис суммы U +W .

Считая количество элементов во всех рассмотренных базисах, получаем

dim(U ∩W ) = k, dim(U) = k +m, dim(W ) = k + n, dim(U +W ) = k +m+ n,

откуда следует (1.7).6Герман Грассман (Hermann Gunther Grassmann, 1809 – 1877). Среди своих современников был изве-

стен как лингвист и переводчик “Ригведы” с санскрита на немецкий язык, а сейчас больше известен какоснователь векторного и тензорного исчисления.

7Действуем аналогично, если среди γ1, . . . , γn есть по крайней мере один ненулевой.

13

1.2.5 Канонический базисКак уже было сказано выше, базис конечномерного пространства может быть выбраннеединственным способом. В связи с этим появляется необходимость определения некоторо-го “максимально простого” базиса, который мог бы служить в качестве стартовой точки прирассуждении о свойствах некоторого линейного пространства. Такие базисы называютсяканоническими. Ниже мы рассмотрим примеры канонических базисов наиболее типичныхлинейных пространств.

В пространстве Rn в качестве канонического базиса выбирается упорядоченный набор век-торов {e1, . . . , en}, где ei – это вектор размерности n (т.е. столбец [n× 1]) с единицей на i-йпозиции и нулями в остальных позициях (т. н. Евклидов базис):

{e1, . . . , en} =

100...0

,

010...0

, . . . ,

00...01

.

Немного неожиданно, но оказывается, что в качестве канонического базиса пространстваCn над полем C может быть выбран тот же базис {e1, . . . , en}. Подумайте, почему? См.задание 9 в конце раздела.

Заметим, что как для Rn, так и для Cn, координаты вектора в каноническом базисе могутбыть идентифицированы с самим вектором.

Каноническим базисом пространства полиномов из F [x] степени, не превышающей n, бу-дет служить набор {1, x, x2, . . . , xn}. Очевидно, что размерность PFn будет равна n + 1.Соответственно, каждый элемент из PFn может быть представлен в виде набора n+ 1 сво-их коэффициентов. В этом смысле PFn оказывается “похоже” на Fn+1. Скоро мы увидим,что это интуитивное понятие похожести может быть формализовано как изоморфизм двухпространств.

Теперь посмотрим на вопрос с другой стороны. Мы помним, что полиномы могут бытьинтерпретированы не только как элементы кольца, но и как полиномиальные функции.Оказывается, что предложенный выбор базиса согласуется с этой интерпретацией, как сле-дует из решения задачи 7.

Наконец, в качестве канонического базиса пространства Rm×n используется набор матрицразмерности m × n, у которых только один элемент равен единице, а остальные равнынулю. Можно легко посчитать, что dim(Rm×n) = mn. Более сложная задача заключается вопределении базиса некоторых подпространств Rm×n. См. задание 6 ниже.

Задачи и вопросы1. Пусть v1, v2 и v3 – линейно-независимые векторы. Будут ли векторы w1 = v1 − v2, w2 = v2 − v3,

w3 = v3 также линейно-независимыми? Предположим, что векторы v1, v2 и v3 образуют базиснекоторого линейного пространства. Будут ли векторы w1, w2 и w3, определенные выше, такжеобразовывать базис?

2. Будет ли множество всех матриц перестановок размера [3× 3] линейно-независимым?

3. Пусть {v1, . . . ,vn} есть некоторый набор линейно-независимых векторов из V . Докажите, что vi 6=0 ∀i = 1, . . . , n.

14

4. Докажите, что если v1, . . . , vn образуют набор линейно-независимых векторов, то любое подмноже-ство этого набора также будет линейно-независимым. Будет ли это утверждение выполняться дляслучая набора линейно-зависимых векторов? Докажите или приведите контрпример.

5. Выберите базис подпространства

xyz

∈ R3∣∣x+ y − z = 0

.

6. Выберите базис и определите размерность подпространств R3×3: a) симметрических матриц, b) косо-симметрических матриц, с) нижних треугольных матриц.

7. Докажите, что набор функций 1, x, x2, . . . , xn является линейно-независимым в пространстве всехфункций из R в R.

8. Выберите базис для подпространств{p(x) ∈ PR

3

∣∣ p(1) = 0},{p(x) ∈ PR

3

∣∣ p′(1) = 0}.

9. Рассмотрим C2 как векторное пространство над полем C (обозначим его (C2,C)) и как векторноепространство над полем R (соответственно, (C2,R)). Выберите базис и определите размерности (C2,C)и (C2,R).

10. Пусть V – конечномерное линейное пространство размерности n. Как можно представить V в видепрямой суммы n подпространств: V = V1 ⊕ · · · ⊕ Vn?

11. Пусть набор векторов {v1, . . . ,vn} образует базис пространства V . Будет ли набор {v1 +w, . . . ,vn +w}, w ∈ V также являться базисом V ?

15

1.3 Линейные отображения

1.3.1 Понятие линейного оператора, его свойстваОпределение 1.3.1. Отображение T : V → W линейного пространства V над полем F влинейное пространство W над полем8 F называется линейным отображением (операто-ром), если оно удовлетворяет следующим свойствам для всех v,u ∈ V и α ∈ F :

1. Аддитивность: T (v + u) = T (v) + T (u),

2. Однородность: T (αv) = αT (v).

Применительно к линейным отображениям скобки иногда опускаются и вместо T (v) ис-пользуется запись Tv.

Множество всех линейных отображений из V вW будем обозначать L(V,W ). На множестве L(V,W )L(V,W ) можно естественным образом ввести операции сложения и умножения на скаляр.Пусть Q,T ∈ L(V,W ), v ∈ V и λ ∈ F . Определим

(Q+ T )(u) = Qv + Tv, (λT )v = λTv. (1.8)

Введенные операции аналогичны соответствующим операциям для векторного простран-ства. Для того, чтобы аналогия была полной, необходимо определить нейтральный элементотносительно сложения в L(V,W ), т. е. нулевой оператор . Это будет отображение, котороелюбому элементу из V ставит в соответствие нулевой вектор из W :

0v = 0 ∈W.

Утверждение 1.3.1. С введенными операциями, множество L(V,W ) является вектор-ным пространством.

Пример 1.3.1. Рассмотрим несколько примеров линейных отображений. Для подпростран-ства полиномов Pn (но не только для него) может быть определен оператор дифференциро-вания D ∈ L(Pn, Pn−1), который действует обычным образом: Dp(x) = d

dxp(x). Можно опре-делить оператор Tx, который будет отображать Pn−1 в Pn: Txp(x) = xp(x). Для квадратныхматриц можно определить оператор симметризации Σ ∈ L(Rn×n, Sn): ΣA = 1

2 (A+A>).

В качестве самостоятельной работы рекомендуется проверить все перечисленные линей-ные отображения на соответствие свойствам векторного пространства, а также предложитьнесколько своих примеров линейных операторов.

Для линейных операторов можно определить операцию композиции так же, как она опре-деляется для функций.

Определение 1.3.2. Пусть V , W и U суть некоторые векторные пространства, а Q ∈L(V,W ) и T ∈ L(W,U) – линейные операторы, определенные на этих пространствах. Тогдадля всех v ∈ V определим композицию TQ как

(TQ)v = T (Qv).

8В дальнейшем мы будем полагать, что векторные пространства, входящие в одно выражение, всегдаопределены над одним и тем же полем.

16

Определение 1.3.3. Оператор Q ∈ L(W,V ) называется обратным к T ∈ L(V,W ) и обо-значается T−1, если

(T−1T )v = v ∀v ∈ V.

Иначе говоря, T−1T = Id, где Id ∈ L(V, V ) отображает каждый вектор из V в себя: Idv = v.

Аналогично тому, как мы классифицируем функции, линейные операторы тоже могут бытьподелены на инъективные, сюръективные и биективные9.

Определение 1.3.4. Линейный оператор T ∈ L(V,W ) называется

• Инъективным если ∀v,u ∈ V : Tv = Tu⇒ v = u,

• Сюръективным если ∀v ∈ V ∃w ∈W : Tv = w,

• Биективным если существует обратный оператор T−1 : W → V .

1.3.2 Ядро и образ линейного оператораС каждым линейным оператором неразрывно связаны два подпространства: его ядро (англ.,null space, kernel) и образ (англ., range, image).

Определение 1.3.5. Пусть T ∈ L(V,W ) есть линейный оператор, действующий из V вW . Ядром T , обозначается N (T ), называется множество векторов v ∈ V , удовлетворяющих N (T )Tv = 0. Образ T , обозначается R(T ), состоит из векторов w ∈ W таких, что w = Tv длянекоторого v ∈ V . R(T )

N (T ) = {v ∈ V |Tv = 0} ⊂ V,R(T ) = {Tv ∈W |v ∈ V } ⊂W.

Для начала мы формально покажем, что ядро и образ линейного оператора действительноявляются подпространствами.

Лемма 1.3.2. Для T ∈ L(V,W ), N (T ) есть линейное подпространство V , а R(T ) – ли-нейное подпространство W .

Доказательство. Для доказательства первого утверждения заметим, что {0} ∈ N (T ).Это следует из следующего рассуждения:

T0 = T (0 + 0) = T0 + T0.

Прибавляя слева и справа элемент, обратный к T0, получим T0 = 0. Закнутость множестваN (T ) относительно сложения и умножения на скаляр очевидна.

Для R(T ) имеем {0} ∈ R(T ) так как T0 = 0. Покажем замкнутость R(T ) относительносложения. Если w1,w2 ∈ R(T ), то по определению существуют такие v1,v2 ∈ V , что Tv1 =w1 и Tv2 = w2. Тогда v1 + v2 ∈ V и, следовательно, T (v1 + v2) = w1 + w2 ∈ R(T ).Доказательство замкнутости относительно умножения на скаляр доказывается аналогично,с использованием свойства однородности линейного оператора.

9Для того, чтобы не ломать себе язык, мы будем называть биективные отображения взаимно однознач-ными.

17

Пример 1.3.2. Рассмотрим линейные операторы из примера 1.3.1. Ядром оператора диф-ференцирования является множество полиномов нулевой степени, т.е. констант: N (D) =c ∈ F , а образ D совпадает с Pn−1. Для оператора Tx ∈ L(Pn−1, Pn) ядро состоит из нулево-го элемента, N (Tx) = {0}, а образ совпадает с подпространством полиномов размерности,не превышающей n, с нулевым свободным членом (чему будет равна размерность этогоподпространства?). Подумайте, что будет являться ядром и образом оператора симмет-ризации Σ, чему равны размерности этих пространств?

Оказывается, что анализ ядра и образа линейного оператора позволяет сделать важныевыводы о свойствах этого оператора.

Лемма 1.3.3. Оператор T ∈ L(V,W ) является инъективным тогда и только тогда, когдаN (T ) = {0}.

Доказательство. Пусть T – инъективный оператор. Тогда из Tv = 0 = T0 следуетv = 0. Наоборот, пусть N (T ) = {0}. Для любых v,u ∈ V таких, что Tv = Tu имеемTv − Tu = T (v − u) = 0, откуда следует v = u.

Соответственно, из определения сюръективности следует, что свойство сюръективностиоператора T ∈ L(V,W ) эквивалентно R(T ) = W .

Теорема 1.3.4. Пусть T ∈ L(V,W ), где V – конечномерное пространство. Тогда выпол-няется

dim(V ) = dim(N (T )) + dim(R(T )). (1.9)

Доказательство. Пусть набор линейно-независимых векторов {u1, . . . ,um} образует ба-зис ядра T . Этот набор может быть дополнен до базиса V : B(V ) = {u1, . . . ,um, v1, . . . ,vn}.Соответственно, имеем dim(V ) = m+ n и dim(N (T )) = m.

Рассмотрим вектор v ∈ span(u1, . . . ,um, v1, . . . ,vn), т. е. v = α1u1 + · · · + αmum + · · · +β1v1 + βnvn и запишем результат действия линейного преобразования T на v:

Tv = T (α1u1 + · · ·+ αmum + β1v1 + · · ·+ βnvn) =

= α1Tu1 + · · ·+ αmTum + β1Tv1 + · · ·+ βnTvn =

= β1Tv1 + · · ·+ βnTvn.

(1.10)

По определению, множество {Tv ∈ W |v ∈ span(V )} является образом T . Кроме того, из(1.10) следует, чтоR(T ) = span(Tv1, . . . , Tvn). Осталось показать, что векторы {Tv1, . . . , Tvn}линейно-независимы. Предположим, что существуют такие, не равные одновременно нулю,коэффициенты γ1, . . . , γn, что выполняется

γ1Tv1 + · · ·+ γnTvn = 0.

Перепишем это выражение используя свойства однородности и аддитивности линейногооператора:

T (γ1v1 + · · ·+ γnvn) = 0.

Это значит, что γ1v1 + · · ·+ γnvn ∈ N (T ), что противоречит выбору базиса B(V ). Приходимк противоречию.

Итак, мы показали, что набор векторов {Tv1, . . . , Tvn} образует базисR(T ), следовательно,dim(R(T )) = n. Сопоставляя размерности V и соответсвующих подпространств, приходимк (1.9).

18

N (T )coN (T )

R(T )coR(T )

V W

T ∈ L(V , W)

{0}{0}

Рис. 1.1: Четыре основные подпространства, связанные с оператором T .

Пространства N (T ) и R(T ) схематически изображены на рис. 1.1. На этом рисунке изобра-жены 4 подпространства, два из которых, coN (T ) и coR(T ), мы рассмотрим позже.

Утверждение 1.3.5. Каждое из условий, сформулированных ниже, эквивалентно тому,что линейное отображение T ∈ L(V,W ) биективно:

1. Отображение T сюръективно и инъективно,

2. Размерности V и W совпадают и ядро T равно нулевому подпространству,

dim(V ) = dim(W ), N (T ) = {0},

3. Образ T совпадает с W и ядро T равно нулевому подпространству,

R(T ) = W, N (T ) = {0}.

Доказательство оставляется в качестве самостоятельного упражнения.

Наконец, следующее определение “перебрасывает мостик” от теории линейных операторовк матрицам. Эта связь будет предметом следующего раздела и – в том или ином виде –большей части нашего курса.

Определение 1.3.6. Рангом линейного оператора T называется размерность его образа, rank(T )

rank(T ) = dim(R(T )).

1.3.3 Изоморфизм векторных пространств. Координатноепредставление элементов векторных пространств

Изоморфизм векторных пространств. Следующее определение позволит нам в неко-торой степени забыть о всем разнообразии (конечномерных) векторных пространств и со-средоточиться на изучении линейных отображений между пространствами типа Fn.

Определение 1.3.7. Два векторных пространства V и W называются изоморфными, обо-значается V 'W , если существует взаимно однозначное линейное отображение T ∈ L(V,W ).Отображение T называется изоморфизмом.

19

Замечание 1.3.1. Для тех, кому интересна математическая систематика заметим, чтомножество изоморфизмов составляет подмножество гомоморфизмов линейных пространствHom(V,W ), т.е. всех отображений, сохраняющих структуру линейных пространств10. Аименно, отображение T : V → W векторных пространств V и W является гомоморфиз-мом если T (αv) = αTv и T (v1 + v2) = Tv1 + Tv2. Очевидно это есть не что иное, какусловия аддитивности и однородности (см. определение 1.3.1). В этом смысле мы можемидентифицировать L(V,W ) = Hom(V,W ).

Координатное представление векторов. Каждое векторное пространство V , dim(V ) =n, изоморфно Fn. Пусть B(V ) = (v1, . . . , vn) есть некоторый упорядоченный набор базис- V ' Fnных векторов V . Тогда согласно теореме 1.2.5, любой вектор v ∈ V можно однозначноассоциировать с вектором своих коэффициентов относительно базиса B(V ), который мыбудем обозначать как [v]B(V ):

[v]B(V ) =

α1

...αn

∈ Fn.Соответственно, любому вектору из Fn может быть однозначно поставлен в соответствиеэлемент v ∈ V . Такое преобразование называется координатным изоморфизмом относи-тельно базиса B(V ) и обозначается κB(V ) : v 7→ [v]B(V ). Для полноты картины заме-тим, что отображение κB(V ) линейно, т. е. для всех v′,v′′ ∈ V и α ∈ F выполняетсяκB(V )(v

′ + v′′) = κB(V )(v′) + κB(V )(v

′′) и κB(V )(αv′) = ακB(V )(v

′).

Координатное представление линейных операторов. В разделе 1.3.1 мы устано-вили, что множество линейных отображений L(V,W ) является векторным пространством.Поэтому подобно тому, как элемент “обычного” векторного пространства может быть пред-ставлен вектором своих координат относительно некоторого базиса, линейный оператортоже может быть записан в координатной форме.

Определение 1.3.8. Пусть T ∈ L(V,W ) и для пространств V иW определены соответству-ющие базисы: B(V ) = (v1, . . . , vn) и B(W ) = (w1, . . . , wm). Запишем разложение вектораTvj по базису B(W ) в виде

Tvj =

m∑i=1

aijwi, aij ∈ F. (1.11)

Матрица A = [aij ], i = 1, . . . ,m, j = 1, . . . , n, называется координатным представлением(или координатной матрицей) оператора T относительно базисов B(V ) и B(W ) и обознача-ется A =M(T ).

В координатном представлении (1.11), j-й столбец матрицы A соответствует разложениюj-го элемента B(V ) по базису B(W ). Соответственно, число строк матрицы A совпадает сразмерностью W , а число столбцов с размерностью V .

Покажем, что отображение M : L(V,W ) → Fm,n действительно является изоморфиз-мом.

10В общем случае понятия гомоморфизма, изоморфизма и т.д. можно обобщить на отображения междуоднотипными алгебраическими объектами: кольцами, группами и т.д.

20

Теорема 1.3.6. Пусть V иW – два векторных пространства с базисами B(V ) = (v1, . . . , vn)и B(W ) = (w1, . . . , wm). Тогда отображениеM : L(V,W )→ Fm,n, определенное выше, яв-ляется взаимно однозначным, т. е. L(V,W ) и Fm,n изоморфны.

Доказательство. Легко заметить, что умножение линейного оператора на скаляр и сло-жение двух линейных операторов соответствует умножению на скаляр и сложению соот-ветствующих координатных матриц. Следовательно, отображение M линейно. Покажем,что оно инъективно и сюръективно. Если T ∈ L(V,W ) и M(T ) = 0 ∈ Fm,n11, то это зна-чит, что Tvi = 0 ∈ W для всех vi ∈ B(V ), т. е. T – это нулевой оператор. Следовательно,N (M) = {0} ∈ L(V,W ) и по лемме 1.3.3 отображение M инъективно. Чтобы показать,чтоM сюръективно, достаточно построить линейный оператор, соответствующий матрицеA ∈ Fm,n. Это соответствие задается (1.11).

Из теоремы 1.3.6 можно заключить, что dim(L(V,W )) = dim(Fm,n) = dim(V ) dim(W ).

Лемма 1.3.7. Пусть T и Q суть два линейных оператора, T ∈ L(V,W ), Q ∈ L(W,U)с координатными матрицами A и B, размерностей [m × n] и [r × m], соответствую-щими базисам B(V ) = (v1, . . . , vn), B(W ) = (w1, . . . , wm) и B(U) = (u1, . . . , ur). Тогдакоординатная матрица композиции двух операторов QT будет равна произведению ихкоординатных матриц:M(QT ) = BA.

Доказательство. Принимая во внимание, что по определению композиции двух опера-торов (QT )v = Q(Tv) и используя разложение (1.11), запишем

(QT )vj = Q (T (vj)) = Q

(m∑k=1

akjwk

)=

m∑k=1

akj

r∑i=1

bikui =

r∑i=1

(m∑k=1

akjbik

)ui.

Соответственно, (i, j)-й элемент матрицыM(QT ), т. е. i-й коэффициент разложения vj побазису B(U), будет иметь вид

[M(QT )]ij =

m∑k=1

akjbik =

m∑k=1

bikakj = [BA]ij .

Следующий результат следует из леммы 1.3.7 если мы предположим, что Q = T−1.

Лемма 1.3.8. Линейный оператор T ∈ L(V,W ) является взаимно однозначным тогдаи только тогда, когда его координатная матрица A = M(T ) относительно некоторыхбазисов B(V ) и B(W ) является обратимой. Соответственно, координатная матрица об-ратного оператора T−1 относительно тех же базисов будет равна обратной матрице:A−1 =M(T−1).

Итак, мы можем задать координатное представление для вектора и линейного оператора.Осталось связать эти два представления вместе и описать действие линейного операторана вектор в координатной форме.

11Для определенности будем явно указывать, к каким векторным пространствам относятся нулевые эле-менты.

21

Лемма 1.3.9. Пусть T ∈ L(V,W ) – линейный оператор с координатной матрицей Aотносительно базисов B(V ) = (v1, . . . , vn) и B(W ) = (w1, . . . , wm). Для двух векторовv ∈ V и w ∈ W таких, что Tv = w, координаты α = [v]B(V ) и β = [w]B(W ) связанысоотношением β1...

βm

= A

α1

...αn

.Доказательство. Запишем w = Tv и применим (1.11):

w =

m∑i=1

βiwi = Tv = T (α1v1 + · · ·+ αnvn) =

n∑j=1

αjTvj =

n∑j=1

αj

m∑i=1

aijwi

=

m∑i=1

n∑j=1

aijαj

wi.

Дальнейшее следует из правил умножения матрицы на вектор.

Соотношение между линейным оператором и его координатным представлением можетбыть схематично изображено в виде следующей диаграммы:

V W

F n Fm

T

κB(V ) κB(W )

A

1.3.4 Преобразование базисаЧастным случаем линейного преобразования является преобразование базиса. А именно,пусть B1 = (v′1, . . . ,v

′n) и B2 = (v′′1 , . . . ,v

′′n) – два базиса пространства V . Тогда мы можем

связать базисные векторы (v′i) и (v′′j ) с помощью матрицы преобразования базиса C:

v′j =

n∑i=1

cijv′′i . (1.12)

Для нахождения коэффициентов обратного преобразования dij выразим (v′′j ) через (v′i) ииспользуем (1.12):

v′′j =

n∑i=1

dijv′i =

n∑i=1

dij

n∑k=1

ckiv′′k =

n∑k=1

n∑i=1

dijckiv′′k =

n∑k=1

εjkv′′k ,

где εjk =∑ni=1 ckidij = [CD]ij . Очевидно, что должно выполняться условие εjk = δjk

12, чтоэквивалентно CD = E. Таким образом, коэффициенты обратного преобразования находятсякак dij =

[C−1

]ij.

12Символ Кронекера δij определяется как δij =

{1, i = j

0 i 6= j.

22

Разложим вектор v по базису B1 и используем (1.12):

v =

n∑j=1

α′jv′j =

n∑j=1

α′j

n∑i=1

cijv′′i =

n∑i=1

n∑j=1

cijα′j

v′′i .

Получаем, что коэффициенты α′i и α′′j соответствующих разложений связаны как

α′′i =

n∑j=1

cijα′. (1.13)

Обратите внимание, что преобразование коэффициентов при смене базиса, (1.13), направле-но в “обратную сторону” по сравнению с тем, как преобразуются базисные векторы, (1.12).Эта особенность привела к тому, что координатные векторы называются контравариант-ными. Позже мы познакомимся с ковариантными векторами. Понятия ковариантности иконтравариантности не будут использоваться в рамках этого курса, но они играют большуюроль в тензорном анализе – обобщении линейной алгебры.

В дальнейшем мы будем часто “забывать” о базисах и вместо этого “работать в коорди-натах”. Покажем, как этот подход может быть использован при определении матричногопредставления оператора T при переходе к новым базисным векторам. Пусть T ∈ L(V,W ) ив пространствах V иW определены по два базиса: B1(V ) = (v′1, . . . ,v

′n), B2(V ) = (v′′1 , . . . ,v

′′n)

и B1(W ) = (w′1, . . . ,w′m), B2(W ) = (w′′1 , . . . ,w

′′m). Координатное представление T в базисах

B1(V ) и B1(W ) записывается в виде матрицы A, а преобразование между базисами B1(V )и B2(V ), соотв., B1(W ) и B2(W ) задается матрицами B и C:

Tv′j =

m∑i=1

aijw′i, v′′j =

n∑i=1

cijv′i, w′′j =

m∑i=1

bijw′i.

Пусть в базисах B1(V ) и B1(W ) векторы v ∈ V и w ∈ W представляются своими коор-динатами α′ ∈ Fn и β′ ∈ Fm, а в базисах B2(V ) и B2(W ) – координатами α′′ ∈ Fn иβ′′ ∈ Fm. Теперь с использованием результата леммы 1.3.9 и (1.13) мы можем записать всепреобразования в координатном виде:

β′ = Aα′, α′ = Cα′′, β′ = Bβ′′.

Теперь задача нахождения координатного представления оператора T в новых базисахB2(V ) и B2(W ) сводится к применению стандартных матричных операций:

β′ = Aα′ ⇒ Bβ′′ = ACα′′ ⇒ β′′ =[B−1AC

]α′′.

Итак, в новых базисах координатная матрица оператора T имеет вид B−1AC. Мы будемобозначать это следующим образом:

A ∼ B−1AC. (1.14)

Соответствующее преобразование опять может быть схематично изображено в виде следу-ющей диаграммы:

V W

F n Fm

F n Fm

T

κB(V ) κB(W )

A

A

C B

23

Пример 1.3.3. Предположим, что нам необходимо задать координатное представлениеоператора T ∈ L(R2,R2), отражающего некоторый произвольный вектор v ∈ R2 с (канони-

ческими) координатами[α1

α2

]∈ R2 относительно подпространства U =

{[x1x2

] ∣∣x2 = kx1

}.

Стандартный подход заключается в определении образов канонических базисных векторов(e1, e2) под действием преобразования T : (Te1, Te2) и их разложении относительно (e1, e2).

Однако можно поступить по другому. Описанное преобразование можно осуществить в 3шага:

1. Перейти к новому базису (e′1, e′2), повернув пространство R2 на угол φ = arctg(k). Тем

самым мы совмещаем e′1 с образующим вектором пространства U , имеющим положи-тельную проекцию на e1;

2. Для нового базиса осуществить преобразование T0(e′1, e′2) = (e′1, −e′2);

3. Вернуться к старому базису.

В координатном виде, оператор поворота против часовой стрелки на угол φ, Trot(φ), запи-сывается как

M(Trot(φ)) = Rφ =

[cos(φ) − sin(φ)sin(φ) cos(φ)

].

Легко проверить, что матрица обратного преобразования T−1rot (φ) = Trot(−φ) записываетсяв координатном виде как R>φ . Координатное представление оператора T0 имеет вид

M(T0) =

[1 00 −1

].

Теперь мы имеем все необходимые ингредиенты. Используя — проверить и завершить!

1.3.5 Отношение эквивалентности матрицВыше мы увидели, что преобразование базиса приводит к изменению матричного представ-ления линейного оператора. Однако независимо от базиса, все матричные представленияописывают один и тот же оператор, т.е. соответствующие матрицы должны быть в каком-тосмысле “похожи”. В этом разделе мы дадим формальное опеределение этой похожести, а вследующих разделах рассмотрим ряд полезных следствий.

Определение 1.3.9. Матрицы A и A размерности [m × n] называются эквивалентными,обозначается A ∼ A, если существуют такие невырожденные матрицы P и Q размерностей[m×m] и [n× n], что A = PAQ.

Заметим, что в отличие от (1.14), в определении отсутствует верхний индекс (−1) при мат-рице P. Это отличие несущественно, так как матрицы P и Q невырождены, поэтому всегдаможно переобозначить P = B−1, соотв. Q = C.

Область применения отношений эквивалентности очень широка и выходит далеко за преде-лы эквивалентности матриц13. Ниже мы рассмотрим отношение эквивалентности в общемслучае и определим некоторые связанные с ним понятия.

13Например, в теории чисел отношение эквивалентности задается операцией сравнения по модулю:∀a, b, k ∈ N, a ∼k b если a = b (mod k). На множестве комплексных чисел можно определить отношениеэквивалентности различными способами, например, ∀a, b ∈ C, a ∼ b если <(a) = <(b) (для a, b ∈ C \ {0}соотв. |a| = |b| или arg(a) = arg(b)). Подумайте, как будут выглядеть классы эквивалентности для перечис-ленных случаев?

24

Определение 1.3.10. Отношение эквивалентности – это бинарное отношение, заданноена некотором множестве Σ и удовлетворяющее следующим свойствам для всех a, b, c ∈ Σ:

1. Рефлексивность. a ∼ a.

2. Симметричность. a ∼ b⇒ b ∼ a.

3. Транзитивность. (a ∼ b & b ∼ c)⇒ a ∼ c.

Отношение эквивалентности разбивает множество Σ на совокупность непересекающихсяподмножеств, называемых классами эквивалентности.

Определение 1.3.11. Классом эквивалентности [a] ⊂ Σ элемента a ∈ Σ называется мно-жество элементов, эквивалентных a:

[a] = {x ∈ Σ | a ∼ x}

Докажите, что [a] ∩ [b] 6= ∅ ⇒ [a] = [b], ∀a, b ∈ Σ. Множество всех классов эквивалентностиназывается фактормножеством и обозначается Σ/ ∼.

Следующий результат имеет фундаментальное значение и называется теоремой о канони-ческом координатном представлении линейного оператора.

Теорема 1.3.10. Пусть V и W суть два конечномерных векторных пространства раз-мерностей n и m, и T : V → W – линейное отображение ранга r. Тогда в пространствахV и W могут быть выбраны базисы B(V ) и B(W ) такие, что относительно этих базисовоператор T представляется в координатной форме как

M(T ) =

[Er 00 0

].

Доказательство. Аналогично тому, как мы это делали в доказательстве теоремы 1.3.4,выберем базисы пространств V и W как

B(V ) = (v1, . . . ,vr, v′r+1, . . . ,v

′n) и B(W ) = (w1, . . . ,wr, w

′r+1, . . . ,w

′m),

где векторы (v′r+1, . . . ,v′n) образуют базис N (T ), а векторы (w1, . . . ,wr) = (Tv1, . . . , Tvr) –

базис образа T .

Рассмотрим, как базисные векторы пространства V отображаются под действием T :

Tvi = wi, ∀i = 1, . . . , r

Tv′j = 0, ∀j = r + 1, . . . , n.

Переходя к координатной записи, получаем требуемое выражение.

Следствие 1.3.11. Пусть A =M(T ), где отображение T имеет ранг r. Тогда существу-

ют такие невырожденные матрицы P и Q, что PAQ =

[Er 00 0

].

25

*1.3.6 Факторпространство по подмножеству

1.3.7 Матричное представление линейного отображения.Структура и свойства

Начиная с этого момента мы отвлечемся от абстрактных векторных пространств и сосредо-точимся на рассмотрении линейных отображений между “стандартными” векторными про-странствами Fn в координатной форме, возвращаясь к базисам лишь при необходимости(в основном в доказательствах теорем).

Мы будем придерживаться следующих соглашений: вектор-столбцы x, y, . . . обозначаюткоординатную запись элементов векторных пространств относительно некоторых базисов,которые полагаются известными (обычно используются канонические базисы). Число эле-ментов в столбце равняется числу базисных векторов и, соответственно, размерности век-торного пространства. Матрицы A, B, . . . обозначают соответствующие линейные отобра-жения в координатной форме. Для краткости мы будем говорить линейный оператор Aвместо линейный оператор. заданный своим координатным представлением A и анало-гично для векторов.

Теперь мы готовы сформулировать некоторые введенные ранее понятия в координатнойформе. Линейной комбинации элементов векторного пространства соответствует линейнаякомбинация координатных векторов; аналогично для координатных векторов определяетсясвойство линейной зависимости/независимости. Ядро и образ линейного отображения A :Rn → Rm определяются как

N (A) = {x ∈ Rn |Ax = 0},R(A) = span(a×,1, . . . , a×,n).

Напомним, что span(a×,1, . . . , a×,n) обозначает линейную оболочку столбцов матрицы A.

Тогда как определение ядра интуитивно понятно, установление связи между приведеннымопределением образа и ранее данным требует небольших усилий. Этот анализ остается вкачестве самостоятельной работы.

Две эквивалентные матрицы описывают координатное представление одного и того желинейного оператора относительно разных базисов. Очевидно, что преобразование бази-са оставляет неизменными размерности основных подпространств, связанных с линейнымотображением.

Утверждение 1.3.12. Пусть A и A – два эквивалентных матричных представленияоператора T . тогда верно следующее:

dim(N (A)) = dim(N (A)),

rank(A) = dim(R(A)) = dim(R(A)) = rank(A).(1.15)

Сформулируем критерий для определения ранга линейного отображения.

Лемма 1.3.13. Ранг линейного оператора A равен числу линейно независимых столбцовматрицы A14.

14Такое определение может вызывать некоторую путаницу. “Правильная” формулировка должна звучатьтак: ранг линейного оператора T : V → W равен числу линейно независимых столбцов в координатном

26

Доказательство. Самостоятельно.

Лемма 1.3.14. Для двух линейных операторов A и B согласованных размерностей верно

rank(AB) ≤ rank(A).

Доказательство. Используя свойство композиции линейных операторов запишем (AB)x =A(Bx) = Ay. Для любого вектора y выполняется Ay ∈ R(A). Это значит, что каждый век-тор (AB)x может быть представлен в виде линейной комбинации базисных векторов R(A).Следовательно, размерность образа AB не может превышать размерность образа A.

Наконец, используя следствие 1.3.11 и утверждение 1.3.12, мы получаем следующий важныйрезультат.

Теорема 1.3.15. Для любого оператора A верно

rank(A) = rank(A>)

Доказательство. Если оператор A может быть приведен к канонической форме путемумножения слева и справа на матрицы P и Q, то транспонированный оператор A> можетбыть приведен к транспонированной канонической форме путем умножения на матрицыP′ = Q> и Q′ = P>: P′A>Q′ = Q>A>P> = (PAQ)>. Легко проверить, что ранги соответ-ствующих канонических представлений совпадают.

Следствие 1.3.16. Пусть A имеет размерность [n×m]. Тогда rank(A) ≤ min{n,m}.

Лемма 1.3.17. Для двух операторов A и B таких, что композиция AB определена, вы-полняется

rank(AB) ≤ min {rank(A), rank(B)} .

Доказательство. Имеем rank(AB) ≤ rank(A) и rank(AB) = rank(B>A>) ≤ rank(B>) =rank(B).

Наконец, сформулируем результат, который носит название ранговой факторизации и, какмы убедимся позже, играет большую роль во многих приложениях.

Теорема 1.3.18. Любой оператор A размерности [m×n], удовлетворяющий rank(A), мо-жет быть представлен в виде композиции двух операторов A = BC размерностей [m× r]и [r × n].

Доказательство. Добавить!!!представлении T , A =M(T ), взятом относительно некоторых произвольных базисов B(V ) и B(W ). Однакомы будем немного злоупотреблять обозначениями и использовать “упрощенные” формулировки, как былооговорено выше.

27

1.3.8 Системы линейных алгебраических уравненийс операторной точки зрения

Решение СЛАУ. Посмотрим, как аппарат линейной алгебры может помочь нам при ана-лизе решений СЛАУ. Вспомним, что неоднородная СЛАУ имеет вид Ax = b. Очевидно, этоне что иное, как координатная запись линейного отображения элемента x в b под действиемлинейного оператора A. Теперь все детали головоломки становятся на свои места ,.

Лемма 1.3.19. Линейная системаAx = b (1.16)

имеет решение x∗ тогда и только тогда, когда b ∈ R(A). Кроме того, любое решениеэтой системы имеет вид x = x∗ + z, где z ∈ N (A).

Доказательство. Первая часть верна по определению образа линейного оператора. Что-бы показать вторую часть предположим, что x и x∗ – два решения (1.16), т. е. Ax = b = Ax∗.Тогда A(x− x∗) = 0⇒ x− x∗ = z ∈ N (A).

Сформулируем свойства СЛАУ (1.16) в категориях свойств соответвующего линейного опе-ратора:

1. СЛАУ (1.16) совместна если b ∈ R(A).

2. СЛАУ (1.16) определена если она совместна и N (A) = {0}.

Наконец, следующее определение будет играть большую роль в теории линейных диффе-ренциальных уравений, в том числе с частными производными.

Определение 1.3.12. Фундаментальной системой решений (ФСР) системы однородныхуравнений Ax = 0 называется максимальный набор линейно-независимых решений этойсистемы.

Очевидно, что ФСР совпадает с базисом N (A).

Используя ранее введенные понятия мы сможем легко доказать известную теорему Кроне-кера-Капелли. Надо заметить, что известна она еще и тем, что имеет по меньшей мере пятьимен, от теоремы Руше-Капелли до теоремы Фробениуса.

Теорема 1.3.20. Система линейных алгебраических уравнений Ax = b является сов-местной (т. е. имеет по крайней мере одно решение) тогда и только тогда, когда рангматрицы A равен рангу расширенной матрицы [A |b]:

rank A = rank[A |b].

Доказательство. Самостоятельно. Использовать определение образа A.

Заметим, что при всей своей привлекательности, практическая ценность теоремы Кронекера-Капелли невелика. Дело в том, что наиболее эффективным способом определения рангаматрицы является ее сведение с матрице ступенчатого вида по строкам, как мы обсуж-дали в первой части курса. Но если мы привели расширенную матрицу [A |b] к такомувиду, то вопрос существования решений решается очевидным образом и необходимости ввычислении ранга матрицы A нет.

28

Альтернатива Фредгольма.

Пример 1.3.4. Рассмотрим линейное дифференциальное уравнение порядка n с веще-ственными постоянными коэффициентами:

x(n)(t) + a1x(n−1)(t) + · · ·+ an−1x

′(t) + anx(t) = f(t). (1.17)

Уравенение (1.17) называется однородным если f(t) ≡ 0 и неоднородным в противном слу-чае. Будем полагать, что x(t) и f(t) принадлежат векторному пространству веществен-нозначных бесконечно-дифференцируемых функций, определенных на положительной по-луоси: C∞([0,∞),R). Тогда уравнение (1.17) можно представить как

Lnx(t) =

(dn

dtn+ a1

dn−1

dtn−1+ · · ·+ an−1

d

dt+ an

)x(t) = f(t),

где Ln – линейный оператор из C∞([0,∞),R) в C∞([0,∞),R). Согласно лемме 1.3.19, реше-ние дифференциального уравнения (1.17) имеет вид x(t) = x∗(t) + z(t), где z(t) ∈ N (Ln).

Из чего же состоит ядро линейного оператора Ln? Очевидно, что это должны быть функциииз C∞([0,∞),R), удовлетворяющие однородному уравнению

z(n)(t) + a1z(n−1)(t) + · · ·+ an−1z

′n−1(t) + anzn(t) ≡ 0. (1.18)

Выберем z(t) = eλt. Подставляя эти функции в (1.18) мы получим

(λn + a1λn−1 + · · ·+ an−1λn−1 + an)eλt ≡ 0.

Это уравнение выполняется в том случае, когда параметры λ выбираются как корни т. н.характеристического полинома

λn + a1λn−1 + · · ·+ an−1λn−1 + an = 0

Если все корни характеристического полинома λ1, . . . , λn различны, то функции eλit, об-разуют базис N (Ln). Тот факт, что любое решение (1.18) может быть представлено в ви-де линейной комбинации экспонент требует знания некоторых дополнительных фактов осуществовании и единственности решений дифференциальных уравнений и не будет тутдоказываться. А как обстоит дело с линейной независимостью? Необходимо показать, чтоуравнение

α1eλ1t + · · ·+ αneλnt ≡ 0 (1.19)

выполняется только при α1 = · · · = αn = 0. Вычислим значение (1.19) в n точках t =0, 1, . . . , n− 1. Получим систему

α1 + α2 + . . . + αn = 0

α1p1 + α2p2 + . . . + αnpn = 0

...

α1pn−11 + α2p

n−12 + . . . + αnp

n−1n = 0,

(1.20)

где мы использовали обозначение pi = eλi . Можно легко заметить, что эта система уравне-ний соответствует умножению матрицы Вандермонда на вектор коэффициентов. Система(1.20) имеет нетривиальное решение в том случае, когда определитель матрицы Вандер-монда равен нулю. Мы помним, что это условие выполняется если существуют по крайнеймере два коэффициента pi = pj , i 6= j. Однако по условию, λi 6= λj ∀i 6= j и, следовательно,pi 6= pj . Поэтому система (1.20) имеет единственное, тривиальное решение.

29

Задачи и вопросыНиже V ,W и U обозначают конечномерные линейные пространства, Pn – пространство полиномов степени,не превышающей n.

1. Пусть T ∈ L(V,W ) и дан набор векторов {v1, . . . ,vk} такой, что векторы {Tv1, . . . , Tvk} линейнонезависимы. Докажите, что векторы {v1, . . . ,vk} также линейно независимы.

2. Приведите пример функции из R × R в R, для которой выполняется свойство однородности, но невыполняется свойство аддитивности.

3. Приведите пример функции из C в C, для которой выполняется свойство аддитивности, но не вы-полняется свойство однородности.

4. Пусть V ⊂ U – собственное (т. е. V 6= U) линейное подпространство U . Для u ∈ U рассмотритеотображение

Tu =

{u, u ∈ V0, u /∈ V.

Будет ли T линейным оператором?

5. Пусть V и U – линейные пространства, причем V ⊂ U , а T : V → V – линейный оператор. Предло-жите, как можно расширить T на U , т. е. определить оператор S : U → U такой, что Su = Tu длявсех u ∈ V .

6. Приведите пример линейного отображения T : P5 → P5 такого, что dim(N (T )) = 2.

7. Приведите пример линейного отображения T : V → V такого, что R(T ) = N (T ). Всегда ли возможнонайти такое отображение? В качестве примера рассмотрите V = R4 и V = R5.

8. Пусть T : F 5 → F 3 – линейный оператор иN (T ) =

x1...x5

∈ F 5

∣∣∣∣x1 + x2 = 0, x2 + x3 = 0, x3 + x4 = 0

.

Докажите, что T задает сюръективное отображение.

9. Пусть T ∈ L(V,W ) и S ∈ L(W,U). Докажите, что

dim(N (ST )) ≤ dim(N (S)) + dim(N (T )).

Сравните с выражением для dim(R(ST )) = rank(ST ).

10. Пусть T ∈ L(V, F ) и V 3 v /∈ N (T ). Докажите, что V = N (T )⊕ {αv|α ∈ F}.11. Рассмотрите следующие отображения из P5 в P5: T1 : p(x) 7→ p′(x) + 2p(x), T2 : p(x) 7→ xp′′(x) + 1.

Запишите координатные представления операторов T1 и T2 относительно канонического базиса P5.

12. Пусть размерности пространств V и W равны 4 и 5, соответственно, а координатная матрица Aоператора T ∈ L(V,W ) содержит k = 17 нулевых элементов. Оцените размерности dim(N (T )) иdim(R(T )).

13.

14.

30

1.4 Геометрия линейных пространств

1.4.1 Норма вектораДо сих пор мы рассматривали элементы векторных пространств как объекты, не имеющиедлины или положения. Мы не пытались сравнивать различные векторы, определять степеньих близости или взаимное расположение. Настало время восполнить этот недочет. Начнемс понятия “длины” вектора.

В этом разделе и дальше мы будем рассматривать элементы пространства Fn, где F мо-жет быть множеством вещественных или комплексных чисел. Конечно, все полученныерезультаты могут быть распространены на любые векторные пространства, для которыхопределены соответствующие операции. Так, в качестве примера мы будем иногда рассмат-ривать пространство полиномов. Однако основной наш интерес все-таки будет сосредоточенна пространствах Cn и Rn, для которых мы будем формулировать все результаты.

Определение 1.4.1. Нормой называется отображение из векторного пространства Fn вR, обозначается ‖ · ‖ : Fn → R, удовлетворяющее следующим свойствам (аксиомам нормы)для всех x, y ∈ Fn и всех α ∈ F :

1. Свойство точечной отделимости: ‖x‖ = 0⇒ x = 0.

2. Неравенство треугольника: ‖x + y‖ ≤ ‖x‖+ ‖y‖.(субаддитивность)

3. Свойство абсолютной однородности: ‖αx‖ = |α| · ‖x‖.

Заметим, что отображение из векторного пространства в множество вещественных чиселобычно называется функционалом.

Лемма 1.4.1. Для нормы выполняется свойство положительной определенности:

‖x‖

{= 0, x = 0

≥ 0, x 6= 0

Доказательство. Для v = 0 имеем ‖0‖ = ‖0 · 0‖ = 0 · ‖0‖ = 0 (свойство 3). Если x 6= 0,выполняется 0 = ‖x− x‖ ≤ ‖x‖+ ‖ − x‖ = ‖x‖+ ‖x‖, следовательно, ‖x‖ ≥ 0.

Ниже мы определим стандартные нормы для F = R и F = C. Обратите внимание: способвычисления нормы вектора различается для вещественных и комплексных векторных про-странств. Дальше мы будем неоднократно сталкиваться с подобными различиями.

Определение 1.4.2. Пусть x = [x1, x2, . . . , xn]> ∈ Fn. Стандартная (евклидова) норма‖x‖ определяется следующим образом:

F = R:‖x‖ =

√x21 + x22 + · · ·+ x2n. (1.21)

F = C:‖x‖ =

√|x1|2 + |x2|2 + · · ·+ |xn|2 =

√x1x1 + x2x2 + · · ·+ xnxn. (1.22)

31

� Проверьте, что приведеные выражения удовлетворяют аксиомам нормы. Подумайте, почемумы не можем использовать (1.21) для вычисления нормы элементов Cn? �

Мы будем называть вектор x единичным если ‖x‖ = 1. Процедура нормировки (ненулевого)вектора заключается в его делении на норму покомпонентно:

y =1

‖x‖x.

С геометрической точки зрения векторы y и x имеют “одинаковое направление” и отлича-ются лишь длиной.

С помощью нормы можно не только сравнивать два вектора x и y, но и определять степеньих близости, вычислив значение ‖x−y‖. Обратите внимание, что по определению ‖x−y‖ =‖y − x‖ и ‖x− y‖ = 0 только если x = y.

∗Альтернативные нормы. Очевидно, что норма вектора может быть определена неедин-ственным образом. Во-первых, мы можем “модифицировать” евклидову норму путем назна-чения каждой компоненте xi вектора x некоторого неотрицательного веса αi > 0:

‖x‖ =√α1|x1|2 + α2|x2|2 + · · ·+ αn|xn|2.

Использование такой нормы эквивалентно тому, что мы переходим к новому базису, в ко-тором направление базисных векторов остается прежним, а длина изменяется на величину,пропорциональную

√αi. С точки зрения математики такие нормы являются вариантом ев-

клидовой нормы, однако в приложениях они играют большую роль, так как позволяютучесть неоднородную структуру данных, с которыми мы работаем.

Однако существуют и другие, принципиально отличные способы определения норм. Рас-смотрим два случая.

1. Манхэттенское расстояние, или норма `1:

‖x‖1 = |x1|+ |x2|+ · · ·+ |xn|

2. max-норма или равномерная норма:

‖x‖∞ = max {|x1|, |x2|, . . . , |xn|} .

*1.4.2 Операторная нормаВ то время, как норма вектора может быть интерпретирована как его “длина”, норма опе-ратора A : Fn → Fm характеризует степень воздействия этого оператора на векторы изпространства Fn. Для того, чтобы “измерить” это воздействие, мы будем использовать век-торные нормы, заданные для пространств Fn и Fm (а в общем случае, когда A действуетиз V в W , для пространств V и W ). Введенная таким образом норма называется индуци-рованной нормой оператора A или, иначе говоря, операторной нормой15.

Определение 1.4.3. Пусть A : Fn → Fm – линейный оператор, а ‖·‖ – норма, определеннаяна соответствующих векторных пространствах16. Тогда норма оператора A определяетсякак

‖A‖ = maxx6=0

‖Ax‖‖x‖

(∗)= max‖x‖=1

‖Ax‖. (1.23)

15Существуют и другие способы определения норм операторов, но мы не будем их рассматривать.16Обычно на пространствах Fn и Fm берется одна и та же норма, но это не обязательно.

32

Обе формулировки нормы в (1.23) эквивалентны, так как равенство (∗) следует из свойстваоднородности линейного оператора.

Независимо от того, посредством какой векторной нормы была введена операторная норма,она удовлетворяет всем свойствам нормы в смысле определения 1.4.1. Кроме того, выпол-няется ряд других полезных свойств.

Лемма 1.4.2. Пусть на векторном пространстве Fn задана некоторая норма ‖ · ‖x, ко-торая порождает операторную норму ‖·‖x. Сформулируем ряд свойств, которым удовле-творяет операторная норма ‖ · ‖x. Пусть A и B – два линейных оператора согласованныхразмерностей, а α ∈ F – скаляр. Тогда выполняется

1. ‖A‖x ≥ 0 и ‖A‖x = 0⇔ A = 0,

2. ‖αA‖x = |α| · ‖A‖x,

3. ‖A + B‖x ≤ ‖A‖x + ‖B‖x,

4. ‖Ax‖x ≤ ‖A‖x · ‖x‖x,

5. ‖AB‖x ≤ ‖A‖x · ‖B‖x.

Доказательство. Свойства 1. – 3. следуют из определения операторной нормы и изсвойств векторной нормы. Мы докажем только последние два свойства:

4. Если в правой части равенства ‖A‖x = maxx 6=0

‖Ax‖x‖x‖x мы опустим максимизацию, то ра-

венство превратится в неравенство:

‖A‖x ≥‖Ax‖x‖x‖x

,

откуда следует требуемый результат ‖A‖x · ‖x‖x ≥ ‖Ax‖x.

5. Последнее доказательство основано на том, что максимум по двум связанным аргу-ментам не превышает максимума по двум независимым аргументам17.

‖AB‖x = maxx 6=0

‖ABx‖x‖x‖x

= maxx6=0

‖Ay(x)‖x‖y(x)‖x

· ‖Bx‖x‖x‖x

≤ maxy 6=0

‖Ay‖x‖y‖x

·maxx6=0

‖Bx‖x‖x‖x

= ‖A‖x·‖B‖x,

где мы определили y(x) = Bx.

Нормы, для которых выполняется свойство 5., называются субмультипликативными.

Рассмотрим два примера координатного выражения для двух операторных норм, соответ-ствующих векторным нормам ‖·‖1 и ‖·‖∞. Конечно, наиболее интересный случай представ-ляет собой норма, порожденная обычной евклидовой нормой, так называемая спектральнаянорма. Однако для ее рассмотрения требуются некоторые факты, с которыми мы пока ещене познакомились, поэтому мы оставим рассмотрение спектральной нормы на потом.

17Сравните maxx

sin(x) cos(y(x)) при любом выборе y(x), например для y(x) = x и maxx,y

sin(x) cos(y).

33

Пусть A : Fn → Fm. Тогда операторные нормы ‖A‖1 и ‖A‖∞ могут быть выражены черезкоэффициенты координатного представления A следующим образом:

‖A‖1 = maxj

m∑i=1

|aij |,

‖A‖∞ = maxi

n∑j=1

|aij |.

1.4.3 Скалярное произведениеТеперь мы займемся определением взаимного расположения двух векторов. Однако начнеммы немного издалека и сначала определим операцию скалярного произведения.

Определение 1.4.4. Скалярное произведение на векторном пространстве Fn – это отоб-ражение 〈·, ·〉 : Fn×Fn → F , удовлетворяющее следующим свойствам для всех x, y, z ∈ Fnи всех α ∈ F :

1. Положительная определенность:{〈x,x〉 > 0, ∀x ∈ Fn \ {0},〈0,0〉 = 0.

2. Эрмитовость:〈x,y〉 = 〈y,x〉

3. Линейность по первому аргументу:

〈αy,x〉 = α〈y,x〉〈y + z,x〉 = 〈y,x〉+ 〈z ,x〉.

Из определения 1.4.4 можно вывести ряд дальнейших свойств скалярного произведения.

Лемма 1.4.3. Скалярное произведение, определенное выше, удовлетворяет следующимсвойствам для всех x, y, z ∈ Fn и всех α ∈ F :

1. 〈x, x〉 ∈ R,

2. 〈0, y〉 = 〈x, 0〉 = 0,

3. 〈x, y + z〉 = 〈x, y〉+ 〈x, z〉,

4. 〈x, αy〉 = α〈x, y〉.

Доказательство. Самостоятельно.

Обратите внимание, что в скалярном произведении, определенном на Cn, первая и втораяпозиции неравноправны. Поэтому скалярное произведение, заданное на комплексном век-торном пространстве иногда называют полуторалинейной (англ., sesquilinear) формой18 вотличие от скалярного произведения на Rn, которое называется билинейной формой.

18В общем случае, форма – это отображение из декартового произведения n векторных пространств Fmв F . Заметим, что определитель матрицы [n× n] – это полилинейная форма, заданная на декартовом про-изведении n векторных пространств. В качестве элементов этих пространств можно рассматривать строкиили столбцы матрицы.

34

Скалярное произведение может быть введено различными способами. В дальнейшем мыбудем использовать стандартное определение евклидова скалярного произведения (опускаяслово “евклидово”).

Определение 1.4.5. Скалярное произведение двух векторов x, y ∈ Fn определяется для

F = R:〈x,y〉 = x1y1 + x2y2 + . . . + xnyn. (1.24)

F = C:〈x,y〉 = x1y1 + x2y2 + . . . + xnyn. (1.25)

Стандартная норма вектора, введенная в (1.21) и (1.22), может быть иначе определена какквадратный корень скалярного произведения этого вектора с самим собой:

‖x‖ =√〈x, x〉.

В таких случаях мы будем говорить, что скалярное произведение, заданное в некоторомвекторном пространстве, порождает в этом пространстве естественную (или стандарт-ную) норму.

Понятие скалярного произведения может быть равным образом определено для бесконеч-номерных пространств. Так, например, на множестве непрерывных функций, определен-ных на интервале [a, b], f(t), g(t) ∈ C([a, b], F ), скалярное произведение можно определитькак

〈f(t), g(t)〉 =

∫ b

a

f(t)g(t)dt. (1.26)

Соответственно, (1.26) порождает в C([a, b], F ) естественную норму: ‖f(t)‖ =√∫ b

a|f(t)|2dt.

Скалярное произведение удовлетворяет неравенству Коши-Буняковского-Шварца. Это важ-ное неравенство, которое еще неоднократно встретится вам в различных областях матема-тики.

Теорема 1.4.4. Пусть x, y ∈ Fn. Тогда верно

|〈x,y〉| ≤ ‖x‖ · ‖y‖. (1.27)

Доказательство. Для y = 0, неравенство (1.27) тождественно обращается в равенство.Рассмотрим случай y 6= 0 и запишем выражение для квадрата нормы вектора x − αy.Очевидно, что это выражение неотрицательно. Кроме того, мы имеем

0 ≤ ‖x− αy‖2 = 〈x− αy,x− αy〉 =

= 〈x,x〉+ 〈x,−αy〉+ 〈−αy,x〉+ 〈−αy,−αy〉 =

= ‖x‖2 − α〈x,y〉 − α〈x,y〉+ αα‖y‖2.

Подставляя в полученное выражение α = 〈x, y〉/‖y‖2, получаем

0 ≤ ‖x‖2 − |〈x,y〉|2

‖y‖2,

откуда следует (1.27).

35

Для двух векторов из R2 понятие скалярного произведения до-пускает интуитивную интерпретацию. Посмотрим на векторнуюдиаграмму, изображенную на рисунке справа. Мы можем запи-сать

‖x− y‖2 = ‖x‖2 + ‖y‖2 − 2〈x,y〉.В то же время, по теореме косинусов мы имеем

‖x− y‖2 = ‖x‖2 + ‖y‖2 − 2‖x‖·‖y‖ cosφ,

т. е. в двумерном вещественном случае скалярное произведение двух векторов равно про-изведению их длин на косинус угла между ними. Применительно к векторам из Rn, стано-вится менее очевидно, как измерять угол между векторами, поэтому мы введем его черезопределение.

Определение 1.4.6. Угол φ между двумя векторами x, y ∈ Rn определяется как

φ = arccos

(〈x, y〉‖x‖·‖y‖

), φ ∈ [0, π].

В Rn угол между двумя векторами x и y равен углу между этими векторами в подпро-странстве span(x, y). Однако если мы возьмем два вектора из Cn, то окажется, что поня-тие угла можно ввести различными способами, см. [4]. Ну а если рассмотреть пространствополиномов Pn, то смысл угла между двумя полиномами и вовсе теряется. Поскольку насинтересуют конструкции, общие для различные векторных пространств, мы оставим задачунахождения углов между векторами для курса евклидовой геометрии и сосредоточимся нарассмотрении одного специального случая.

1.4.4 Ортогональная проекция. Ортогональное дополнениеОпределение 1.4.7. Два вектора x, y ∈ Fn называются ортогональными, обозначаетсяx ⊥ y, если их скалярное произведение равно нулю:

〈x, y〉 = 0.

Понятие ортогональности является обобщением свойства перпендикулярности двух векто-ров, известного нам из классической евклидовой геометрии. Заметим, что по свойству 2леммы 1.4.3, нулевой вектор ортогонален любому вектору x ∈ Fn.

Аналогично ортогональным векторам, можно ввести понятие параллельных векторов.

Определение 1.4.8. Два вектора x, y ∈ Fn называются параллельными, обозначаетсяx ‖ y, если y = αx, где α ∈ F .

Теорема 1.4.5. Пусть x,y ∈ Fn. Тогда вектор x можно представить в виде суммы двухвекторов, один из которых будет параллелен y, а второй ортогонален y:

x = projy x + orthy x. (1.28)

Первый вектор называется ортогональной проекцией x на y и вычисляется по формуле

projy x =〈x,y〉‖y‖2

y.

36

Доказательство. Представим x в виде суммы двух векторов u и v таких, что u = αy иv ⊥ y. Запишем

0 = 〈v,y〉 = 〈x− αy,y〉 = 〈x,y〉 − α〈y,y〉,

откуда мы выражаем α. Подставляя найденное выражение в u = αy получаем требуемыйрезультат. Заметим, что ортогональная компонента v находится как

orthy x = x− 〈x,y〉‖y‖2

y. (1.29)

Разложение вектора на две ортогональные друг другу компоненты может быть полезнопри решении многих задач. Посмотрим, как можно использовать этот подход на примереальтернативного доказательства теоремы Коши-Буняковского-Шварца.

Доказательство теоремы 1.4.4. Так же как и в первом доказательстве, предполо-жим, что y 6= 0. Представим x в виде (1.28) и запишем выражение для квадрата нормы‖x‖2:

‖x‖2 =

∥∥∥∥ 〈x,y〉‖y‖2y

∥∥∥∥2 + ‖ orthy x‖2 (1.30)

≥ |〈x,y〉|2

‖y‖2,

где равенство (1.30) следует из теоремы Пифагора (см. задание 3). Преобразовывая полу-ченное неравенство получаем (1.27).

Задачу нахождения ортогональной проекции вектора на вектор можно обобщить на случайортогональной проекции вектора на подпространство. Пусть V ⊂ Fn и x ∈ Fn суть линей-ное подпространство и вектор, не принадлежащий этому подпространству, x /∈ V . Подобнотому, как мы делали раньше, вектор x можно представить в виде суммы двух векторов,один из которых принадлежит V , а второй ортогонален со всеми векторами из V :

x = projV x + orthV x, причем projV x ∈ V и 〈orthV x,v〉 = 0 ∀v ∈ V.

В следующем разделе мы вернемся к этому вопросу и изучим в деталях, как строится ор-тогональная проекция на подпространство. А сейчас остановимся на одном исключительноважном свойстве ортогональной проекции. Предположим, что нам нужно выбрать векториз V , максимально близкий к вектору x (который, так же как и раньше, не принадлежитV ). Мы помним, что расстояние между двумя векторами может быть естественным обра-зом задано как норма их разности: dist(x,y) = ‖x−y‖. Таким образом, задача может бытьпоставлена следующим образом:

найти такой вектор x ∈ V , что неравенство

‖x− x‖ ≤ ‖v − x‖ (1.31)

выполняется для всех векторов v ∈ V .

Из курса евклидовой геометрии мы знаем, что (по крайней мере в R3) среди всех отрезков,опущенных из точки на плоскость, наименьшей длиной обладает высота, т.е. ортогональная

37

составляющая нашего вектора orthV x = x− projV x. Можно предположить, что решениемпоставленной задачи должна служить проекция вектора projV x, как подтверждает следу-ющая теорема.

Теорема 1.4.6. Пусть V ⊂ Fn – линейное подпространство V , а x ∈ Fn – некоторыйвектор, не принадлежащий V . Для вектора x ∈ V следующие два утверждения эквива-лентны:

1. Неравенство (1.31) выполняется для всех v ∈ V и обращается в равенство толькодля v = x.

2. Выполняется (x− x) ⊥ V .

Доказательство. Начнем с [2.]→ [1.] Мы имеем

‖v − x‖2 = ‖(v − x) + (x− x)‖2 (∗)= ‖v − x‖2 + ‖x− x‖2 ≥ ‖x− x‖2,

где равенство (∗) следует из теоремы Пифагора, так как v − x ∈ V , а (x − x) ⊥ V . Взявквадратный корень из обеих частей неравенства, получаем (1.31). Заметим, что слагаемое‖v − x‖2 всегда неотрицательно и обращается в ноль только при v = x.

Теперь докажем [1.]→ [2.] Определим функцию ε(t) = ‖(x+tv)−x‖2, где t ∈ R, а v – некото-рый произольный вектор из V . Поскольку (1.31) выполняется для всех v ∈ V , функция ε(t)имеет минимум в точке t = 0. Раскроем выражение для ε(t), поменяв порядок слагаемых:

ε(t) = 〈x− x + tv, x− x + tv〉 = 〈x− x, x− x〉+ 〈tv, x− x〉+ 〈x− x, tv〉+ 〈tv, tv〉 =

= ‖x− x‖2 + 2 t<(〈x− x,v〉) + t2‖v‖2.

Из курса анализа мы знаем, что функция имеет минимум в точке, если ее первая производ-ная в этой точке равна нулю, а вторая производная строго положительна. В нашем случае,условие экстремальности первого порядка имеет вид

ε′(t)∣∣t=0

= 2<(〈x− x,v〉) = 0,

а вторая производная ε′′(t) = 2‖v‖2 положительно определена везде, за исключением v = 0.Итак, из условия минимизации следует <(〈x−x,v〉) = 0. Вектор v выбирается произвольно,поэтому наряду с v мы можем рассмотреть v = iv:

2<(〈x− x, v〉) = 2<(〈x− x, iv〉) = 〈x− x, iv〉+ 〈x− x, iv〉 = −i〈x− x,v〉+ i〈x− x,v〉 =

= −i(〈x− x,v〉 − 〈x− x,v〉

)= −i · 2 i=(〈x− x,v〉) = 2=(〈x− x,v〉).

Итак, из произвольности выбора v следует, что как вещественная, так и мнимая частьскалярного произведения 〈x−x,v〉 должна быть равна нулю. Следовательно, выполняется(x− x) ⊥ v.

Ортогональное дополнение. Включить в следующей версии.

38

1.4.5 Ортонормированный базис. Процедура Грама-ШмидтаВ пространствах со скалярным произведением многие операции сильно упрощаются, если вкачестве базиса выбрать систему нормированных и взаимно ортогональных векторов.

Определение 1.4.9. Набор векторов (e1, . . . , en) называется ортонормированным, если

1. Каждый вектор имеет единичную норму, ‖ei‖ = 1, i = 1, . . . , n;

2. Все векторы попарно ортогональны, 〈ei, ej〉 = 0, i 6= j.

Если набор векторов (e1, . . . , en) образует базис пространства Fn, этот базис называетсяортонормированным.

Самым простым примером ортонормированного базиса является канонический евклидовбазис. Однако уже в пространстве полиномов Pn cо скалярным произведением, заданнымвыражением 〈f, g〉 =

∫ 1

−1 f(t)g(t)dt, канонический базис (1, x, x2, . . . ) не является ортонор-мированным. В примере 1.4.1 мы увидим, как с использованием процедуры Грама-Шмидтана основе существующего неортогонального базиса можно построить ортонормированныйбазис.

Сначала сформулируем несколько результатов, демонстрирующих удобство работы с орто-нормированными базисами.

Лемма 1.4.7. Пусть вектор y ∈ Fn представлен в виде линейной комбинации ортонор-мированных векторов, y =

∑ni=1 αiei. Тогда квадрат его нормы равен сумме квадратов

абсолютных значений соответствующих коэффициентов (а для Rn – просто сумме квад-ратов):

‖y‖2 = |α1|2 + · · ·+ |αn|2. (1.32)

Доказательство. Раскрыть выражение для ‖y‖2 учитывая, что 〈ei, ej〉 = 0, i 6= j. Аль-тернативное доказательство основано на последовательном использовании теоремы Пифа-гора (см. задание 3).

Лемма 1.4.8. Любой набор ортонормированных векторов линейно независим.

Доказательство. Рассмотрим набор ортонормированных векторов (e1, . . . , en). Если быэти вектора были линейно зависимыми, то для некоторого набора коэффициентов αi ∈ F ,не всех равных нулю, выполнялось бы

y = α1e1 + · · ·+ αnen = 0.

Таким образом норма ‖y‖ = ‖0‖ = 0 и, следовательно, |α1|2 + · · ·+ |αn|2 = 0. Но это значит,что все коэффициенты αi равны нулю. Приходим к противоречию.

Лемма 1.4.9. Пусть набор E = (e1, . . . , en) задает ортонормированный базис Fn. Тогдаразложение вектора y ∈ Fn по базису E имеет вид

y = 〈y, e1〉 e1 + . . . + 〈y, en〉 en, (1.33)

а квадрат нормы y равен

‖y‖2 = |〈y, e1〉|2 + . . . + |〈y, en〉|2.

39

Доказательство. Поскольку E является базисом, каждый вектор y может быть одно-значно представлен в виде линейной комбинации векторов из E :

y = α1e1 + . . . αnen. (1.34)

Вычисляя скалярное произведение левой и правой части (1.34) с ei и принимая во внимание,что базисные векторы ортонормированы, получаем αi = 〈y, ei〉. Выражение для квадратанормы следует из (1.32).

Процедура ортогонализации Грама-Шмидта. Предположим, что нам дан некото-рый базис (x1,x2, . . . ,xn) пространства Fn. Покажем, как на основе этого базиса можнопостроить ортонормированный базис (e1, e2, . . . , en). Компоненты нового базиса определя-ются итеративно, с использованием ортонормированных базисных векторов, определенныхна предыдущих шагах.

1. В качестве первого элемента нового базиса выбираем нормированный вектор x1:

e1 =x1

‖x1‖.

2. Второй элемент выбирается как нормированная ортогональная компонента вектора x2

при проекции на e1 (вспомним выражение (1.29) и учтем, что e1 – единичный вектор):

e2 =x2 − 〈x2, e1〉e1‖x2 − 〈x2, e1〉e1‖

3. Дальше мы берем нормированную ортогональную компоненту проекции вектора x3

на вектора e1 и e2 (т.е. ту “часть” вектора x3, которая ортогональна как e1, так и e2):

e3 =x3 − 〈x3, e1〉e1 − 〈x3, e2〉e2‖x3 − 〈x3, e1−〉e1 − 〈x3, e2〉e2‖

...

i. Действуя аналогично, приходим к выражению для i-й компоненты нового базиса:

ei =xi − 〈xi, e1〉e1 − · · · − 〈xi, ei−1〉ei−1‖xi − 〈xi, e1〉e1 − · · · − 〈xi, ei−1〉ei−1‖

(1.35)

Описанная процедура может быть применена к любому набору линейно независимых век-торов, которые не должны обязательно образовывать базис.

Достоинство метода Грама-Шмидта заключается в том, что он позволяет конструктивновычислять новый базис на основе существующего, т.е. он не только говорит, что ортонор-мированный базис существует, но и позволяет его найти. Это очень важно, так как в мате-матике мы нередко сталкиваемся с ситуациями, когда мы можем доказать, что некоторыйобъект существует, но не знаем как его найти. В (абстрактной) линейной алгебре такимпримером служит базис Гамеля19: множество элементов пространства V таких, что любойвектор v ∈ V может быть представлен единственным образом в виде линейной комбинации

19Georg Hamel (1877 – 1954), немецкий математик. Известен своими работами, посвященными основаниямматематики и аксиоматизации классической механики.

40

некоторого конечного подмножества базисных векторов. Можно доказать, что существуетбазис Гамеля, с которым множество вещественных чисел образует векторное пространствонад полем рациональных чисел (подумайте об этом!). Однако конструктивно построитьэтот базис невозможно, так как его существование основано на аксиоме выбора.

Однако вернемся к процедуре ортогонализации Грама-Шмидта и формально докажем, чтоона действительно решает поставленную задачу.

Теорема 1.4.10. Пусть (x1,x2, . . . ,xn) – набор линейно независимых векторов. Тогда на-бор векторов (e1, e2, . . . , en), вычисленных итеративно по формуле (1.35), составляет ор-тонормированную систему и при этом выполняется

span(e1, e2, . . . , en) = span(x1,x2, . . . ,xn).

Доказательство. Проведем доказательство по индукции. Для i = 1 вектор e1 составляетортонормированную систему и, кроме того, span(e1) = span(x1). Предположим, что длянекоторого 1 < i < n набор (e1, e2, . . . , ei−1) является ортонормированным и выполняетсяspan(e1, . . . , ei−1) = span(x1, . . . ,xi−1).

Поскольку векторы (x1, . . . ,xn) линейно независимые, xi /∈ span(x1, . . . ,xi−1). Также вы-полняется xi /∈ span(e1, . . . , ei−1), поскольку линейные оболочки двух наборов совпадают.Таким образом, знаменатель в выражении (1.35) для ei не равен нулю и выражение опре-делено.

Пусть j < i. Рассмотрим скалярное произведение 〈ei, ej〉. Получаем

〈ei, ej〉 =

⟨xi − 〈xi, e1〉e1 − · · · − 〈xi, ei−1〉ei−1‖xi − 〈xi, e1〉e1 − · · · − 〈xi, ei−1〉ei−1‖

, ej

⟩=

=〈xi, ej〉 − 〈xi, ej〉〈ej , ej〉

‖xi − 〈xi, e1〉e1 − · · · − 〈xi, ei−1〉ei−1‖= 0,

где мы использовали тот факт, что набор (e1, . . . , ei−1) является ортонормированным, сле-довательно 〈ej , ej〉 = 1 и 〈ek, ej〉 = 0 для всех 1 < k 6= j < i. Таким образом, расширенныйнабор (e1, . . . , ei−1, ei) также является ортонормированным.

Осталось показать, что линейные оболочки наборов (x1, . . . ,xi) и (e1, . . . , ei) совпадают.Из выражения (1.35) следует, что xi ∈ span(e1, . . . , ei). Следовательно, span(x1, . . . ,xi) ⊆span(e1, . . . , ei). Однако векторы (x1, . . . ,xi) и (e1, . . . , ei) линейно независимы, одни поусловию теоремы, другие согласно лемме 1.4.8. Обе линейные оболочки имеют одинако-вую размерность и, следовательно, совпадают.

Пример 1.4.1 (Построение ортонормированного базиса для пространства P2). Для началазаметим, что любая функция, определенная на конечном интервале [a, b] может преобразо-вана с помощью масштабирования и сдвига в функцию, определенную на интервале [−1, 1],причем это преобразование взаимнооднозначно. Аналогично обстоит дело с функциями.определенными на бесконечном и полубесконечном интервалах. Поэтому определяя ска-лярное произведение (1.26) на векторном пространстве функций, обычно рассматривают 3интервала: [−1, 1] (иногда [−π, π]), [0,∞) и (−∞,∞). Какой конкретно интервал выбирает-ся, зависит от решаемых задач.

Мы рассмотрим вещественное пространство полиномов P2 с каноническим базисом B(P2) =(1, x, x2). Для определения скалярного произведения мы будем рассматривать полиномы

41

как рациональные функции. Тогда в качестве скалярного произведения можно использо-вать выражение (1.26), которое мы немного преобразуем: в качестве интервала выберем[−1, 1] и опустим операцию комплексного сопряжения. Теперь наше скалярное произведе-ние выглядит так:

〈p(t), g(t)〉 =

∫ 1

−1p(t)g(t)dt.

Легко проверить, что канонический базис B(P2) не является ни нормированным, ни орто-гональным. Так, например,

‖1‖2 =

∫ 1

−112dx = 2 6= 1 и 〈1, x2〉 =

∫ 1

−1x2dx =

2

36= 0.

Используем процедуру ортогонализации Грама-Шмидта для построения ортонормирован-ного базиса пространства P2. Обозначим этот базис как B⊥(P2) = (p1,p2,p3).

В качестве первого элемента возьмем первый базисный вектор B(P2), предварительно про-нормировав его:

p1 =1

‖1‖=

1√2.

Второй элемент определяется по формуле

p2 =x− 〈x,p1〉p1

‖x− 〈x,p1〉p1‖.

Вычислим скалярное произведение 〈x,p1〉:

〈x,p1〉 =1√2

∫ 1

−1xdx = 0.

Таким образом, получаем

p2 =x

‖x‖=

√3

2x.

� Используя описанную схему, определите третий элемент базиса B⊥(P2) самостоятельно. �

Проекция на подпространство. Теперь мы вернемся к вопросу вычисления проекциивектора x ∈ Fn на подпространство V ⊂ Fn. Пусть в пространстве V задан ортонормиро-ванный базис B⊥(V ) = (e1, . . . , ek). Тогда мы можем представить вектор x в виде суммыдвух компонент, projV x и orthV x, причем первая из них может быть записана как линейнаякомбинация базисных векторов (e1, . . . , ek):

projV x = α1e1 + · · ·+ αkek.

Компонента orthV x = x − projV x должна удовлетворять условию ортогональности, т.е.должно выполняться 〈orthV ,v〉 = 0 для всех v ∈ V . Легко проверить, что это требованиеэквивалентно выполнению условий 〈orthV x, ei〉 = 0 для всех ei ∈ B⊥(V ). Перепишем этиусловия, раскрыв в них выражение для orthV x:

〈x− α1e1 − · · · − αkek, ei〉 = 0, ei ∈ B⊥(V ).

42

Учитывая свойство ортонормированности базисных векторов (e1, . . . , ek) мы легко получа-ем выражения для коэффициентов αi:

αi = 〈x, ei〉.

Итак, мы имеем следующие формулы для определения проекции вектора x на подпростран-ство V и соответствующей ортогональной компоненты:

projV x = 〈x, e1〉e1 + · · ·+ 〈x, ek〉ek и orthV x = x− projV x. (1.36)

Легко проверить, что projV αx = α projV x и projV (x′ + x′′) = projV x′ + projV x′′, а следо-вательно, projV – это линейный оператор из Fn в V . Этот оператор обладает интереснымсвойством идемпотентности:

projV (projV x) = projV x,

т.е. будучи применен два раза он дает тот же результат, как и после однократного приме-нения. � Докажите! �

1.4.6 Операторы в пространствах со скалярным произведениемНиже мы будем рассматривать действие линейных операторов на векторных пространствах,для которых определена операция скалярного произведения. Начнем с того, что дадимопределение сопряженного оператора.

Определение 1.4.10. Пусть T : Fn → Fm – линейный оператор между пространствами сзаданным на них скалярным произведением 〈·, ·〉. Отображение T ∗ : Fm → Fn называетсясопряженным к T , если оно удовлетворяет

〈Tx,y〉 = 〈x, T ∗y〉. (1.37)

Во многих учебниках T ∗ полагается линейным оператором по определению. Однако мы длятренировки докажем этот результат.

Лемма 1.4.11. Если T ∈ L(Fn, Fm) то T ∗ ∈ L(Fm, Fn).

Доказательство. Пусть y,y′,y′′ ∈ Fm, x ∈ Fn и α ∈ F . Проверим свойства аддитивно-сти и однородности:

1. Аддитивность:

〈x, T ∗(y′ + y′′)〉 = 〈Tx,y′ + y′′〉 = 〈Tx,y′〉+ 〈Tx,y′′〉 = 〈x, T ∗y′〉+ 〈x, T ∗y′′〉 =

= 〈x, T ∗y′ + T ∗y′′〉.

Отсюда следует, что T ∗(y′ + y′′) = T ∗y′ + T ∗y′′. � Обоснуйте, почему это так? �

2. Однородность:

〈x, T ∗(αy)〉 = 〈Tx, αy〉 = α〈Tx,y〉 = α〈x, T ∗y〉 =

= 〈x, αT ∗y〉.

Получаем T ∗(αy) = αT ∗y, что и требовалось доказать.

43

Лемма 1.4.12. Сопряженный оператор удовлетворяет следующим свойствам:

1. (T + B)∗ = T ∗ + V ∗,

2. (αT )∗ = αT ∗,

3. (T ∗)∗

= T,

4. Id∗ = Id,

5. (TV )∗ = V ∗T ∗,

где T и V – линейные операторы согласованных размерностей, а α ∈ F .

Доказательство. Докажем свойства 3. – 5. Остальные доказательства – самостоятель-но. При работе с сопряженными операторами и композициями операторов необходимо об-ращать внимание на то, из какого в какое пространство действует оператор.

3. Пусть T ∈ L(Fn, Fm). для x ∈ Fn и y ∈ Fm имеем

〈y, (T ∗)∗x〉 = 〈T ∗y,x〉 = 〈x, T ∗y〉 = 〈Tx,y〉 = 〈y, Tx〉.

4. Для x′,x′′ ∈ Fn выполняется

〈x′, Id∗ x′′〉 = 〈Idx′,x′′〉 = 〈x′,x′′〉.

Обратите внимание, что единичный оператор всегда действует из пространства V вто же самое пространство. В данном случае Id : Fn → Fn.

5. Пусть T ∈ L(Fn, Fm) и V ∈ L(Fm, F k). Для x ∈ Fn, y ∈ F k

〈x, (V T )∗y〉 = 〈V Tx,y〉 = 〈Tx, V ∗y〉 = 〈x, T ∗V ∗y〉.

Встает естественный вопрос, как же будет выглядеть сопряженный оператор в координа-тах? Оказывается, что если координатное представление оператора A = M(T ) полученоотносительно ортонормированных базисов, то координатная запись сопряженного опера-тораM(T ∗) соответствует комплексно-сопряженному транспонированию матрицы A. Сна-чала дадим определение операции комплексно-сопряженного транспонирования, а затемдокажем этот результат.

Определение 1.4.11. Для матрицы T ∈ Fn×m, элементы комплексно-сопряженной транс-понированной матрицы T ∗ определяются как

[T ∗]ij = aji,

то есть комплексно-сопряженное транспонирование соответствует перестановке строк истолбцов матрицы и поэлементному комплексному сопряжению.

44

В русскоязычной литературе комплексно-сопряженная транспонированная матрица обыч-но называется эрмитово20-сопряженной. Заметим, что для F = R эрмитово-сопряженнаяматрица совпадает с транспонированной матрицей. Если из контекста будет понятно, чтомы работаем с вещественными векторными пространствами, то вместо A∗ мы будем писатьA> для обозначения координатной матрицы сопряженного оператора.

Теорема 1.4.13. Пусть A – координатное представление оператора T ∈ L(Fn, Fm) от-носительно ортонормированных базисов B(Fn) = (e1, . . . , en) и B(Fm) = (f1, . . . , fm). Тогдакоординатное представление сопряженного оператора T ∗ ∈ L(Fm, Fn) относительно ор-тонормированных базисов B(Fm) и B(Fn) представляет собой эрмитово-сопряженнуюматрицу A∗.

Доказательство. Вспомним определение координатного представления оператора: k-йстолбец матрицы A представляет собой координаты разложения вектора Tek по базису(f1, . . . , fm). Поскольку векторы (f1, . . . , fm) составляют ортонормированную систему, мыможем использовать формулу (1.33):

Tek = 〈Tek, f1〉f1 + · · ·+ 〈Tek, fj〉fj + · · ·+ 〈Tek, fm〉fm.

Теперь рассмотрим координатное представление сопряженного оператора T ∗. Аналогичнозапишем разложение вектора T ∗fj по базису (e1, . . . , en)

T ∗fj = 〈T ∗fj , e1〉e1 + · · ·+ 〈T ∗fj , ej〉ej + · · ·+ 〈T ∗fj , en〉en =

= 〈e1, T ∗fj〉e1 + · · ·+ 〈ek, T ∗fj〉ek + · · ·+ 〈en, T ∗fj〉en =

= 〈Te1, fj〉e1 + · · ·+ 〈Tek, fj〉ek + · · ·+ 〈Ten, fj〉en

Итак, kj-й элемент координатного представления T ∗ равен 〈Tek, fj〉, то есть комплексно-сопряженному к jk-тому элементу координатного представления T .

Обратите внимание, что вопреки расхожему мнению, полученный результат имеет местотолько для ортонормированных базисов! В общем случае координатное представление со-пряженного оператора будет отличаться от A∗. Обычно проблем с этим не возникает, таккак мы большей частью работаем с ортонормированными базисами и возникает ощущение(которое потом переходит в уверенность), что эрмитово-сопряженная матрица соответству-ет сопряженному оператору. Однако при работе с реальными задачами, для которых пре-образование базиса является нормой, такое заблуждение может привести к ошибкам.

В дальнейшем, следуя принятому ранее соглашению, мы не будем делать разницы междусопряженным оператором и эрмитово-сопряженной координатной матрицей этого операто-ра и будем писать A∗ в том и другом случае, если это не будет приводить к недоразумениям.Более того, мы будем также писать x∗ для обозначения комплексно-сопряженного и транс-понированного вектора. Используя введенные обозначения мы будем иногда записыватьскалярное произведение двух векторов x и y как

〈x,y〉 = x∗y

в комплексном случае и〈x,y〉 = x>y

20В честь Шарля Эрмита (Charles Hermite, 1822 – 1901) – выдающегося французского математика 19 века.Среди его результатов можно упомянуть доказательство трансцедентности числа e. Эрмит внес большойвклад в теорию ортогональных многочленов, в том числе названных в его честь многочленов Эрмита.

45

в вещественном случае. Конечно, для вещественных пространств все выражения выгля-дят гораздо проще, так как нам не надо думать о том, какие элементы должны братьсякомплексно-сопряженными, а какие – нет. К счастью, в большинстве практических задачмы не будем выходить за рамки вещественных пространств.

В первой части нашего курса мы обратили внимание на специальный класс симметрическихматриц. Эти матрицы тесно связаны с линейными операторами специального вида.

Определение 1.4.12. Оператор A называется самосопряженным если A∗ = A (или, вслучае F = R, A> = A).

Иначе говоря, оператор является самосопряженным если для всех x и y из соответствующихпространств выполняется 〈Ax,y〉 = 〈x,Ay〉. Для F = C, сопряженный оператор называетсяЭрмитовым, а для F = R – симметрическим. Самосопряженные операторы и соответству-ющие матрицы обладают многими полезными свойствами, о которых мы поговорим немногопозже.

1.4.7 Метод наименьших квадратовТеперь мы имеем все необходимые ингредиенты для того, чтобы строго сформулировать ипроанализировать метод наименьших квадратов (МНК) – один из самых популярныхметодов прикладной математики.

Рассмотрим стандартную формулировку МНК. Пусть дана система линейных алгебраиче-ских уравнений

Ax = b,

где x ∈ Fn, b ∈ Fm, а матрица A имеет размерности [m × n], причем m >> n, то естьсистема является сильно переопределенной (число уравнений существенно больше числанеизвестных). Обычно такие системы являются несовместными. Почему? Рассмотрим за-дачу с геометрической точки зрения: необходимо представить вектор b из пространствабольшой размерности в виде линейной комбинации достаточно малого числа векторов изтого же пространства (векторы эти есть не что иное, как столбцы матрицы A). Очевидно,что в общем случае вектор b не должен принадлежать линейной оболочке, натянутой настолбцы матрицы A. Поэтому мы будем искать приближенное решение xo такое, что ре-зультирующий вектор b = Axo максимально приближен к исходному вектору b. Степеньблизости двух векторов мы будем измерять как норму их разницы:

‖b− b‖ = ‖Axo − b‖ → min . (1.38)

Вспомним теорему 1.4.6. Применительно к нашему случаю, x = b, x = Axo, а подпростран-ство V – это линейная оболочка столбцов матрицы A. Итак, согласно теореме 1.4.6 решениезадачи (1.38) должно удовлетворять условию

〈v,Axo − b〉 = 0, (1.39)

где v ∈ span(a×,1, . . . ,a×,n). Последнее эквивалентно тому, что v = Ay для любого y ∈ Fn.Таким образом, мы можем записать условие оптимальности (1.39)

〈v,Axo − b〉 = 〈Ay,Axo − b〉 = 〈y,A>(Axo − b)〉 = 0. (1.40)

46

В этом выражении A∗ – это матрица сопряженного оператора21. Поскольку в (1.40) векторy может быть любым, условие оптимальности может быть записано как

A∗Axo = A∗b. (1.41)

Уравнение (1.41) называется нормальным уравением. Это название связано с тем, что век-тор Axo−b нормален, то есть ортогонален всем столбцам матрицы A. В случае веществен-ных векторных пространств нормальное уравнение (1.41) приобретает вид

A>Axo = A>b. (1.42)

Рассмотрим уравнение (1.41) более подробно. Заметим, что новая система уравнений со-держит столько же уравнений, сколько неизвестных (а именно, n). В этом случае реше-ние может быть определено однозначно если матрица A∗A невырожденна. Матрица этаобладает рядом интересных свойств. Во-первых, она эрмитово-сопряженная или симмет-рическая в вещественном случае. Вспоминая свойства (3.) и (5.) леммы 1.4.12 мы можемзаписать:

(A∗A)∗ = A∗(A∗)∗ = A∗A.

Во-вторых, эта матрица невырожденна если ее ранг равен числу столбцов n.

Лемма 1.4.14. Пусть матрица A размерности [m×n] имеет ранг n. Тогда матрица A∗Aтакже имеет ранг n.

Доказательство. Пусть вектор y ∈ F ∗ принадлежит ядру матрицы A∗A, то есть выпол-няется

A∗Ay = 0.

Домножим слева на y∗:

0 = y∗0 = y∗A∗Ay = (Ay)∗Ay = ‖Ay‖,

то есть Ay = 0. Однако мы помним, что ранг A равен n, а следовательно единственным ре-шением однородной системы Ay = 0 является тривиальное решение y = 0. Таким образом,N (A∗A) = N (A) = {0}, а ранг A∗A равен n.

Если матрица A имеет полный ранг по столбцам, то матрица A∗A невырожденна и имеетобратную. Тогда мы можем записать решение (1.41) в виде

xo = (A∗A)−1

A∗b. (1.43)

Вспомним выражение для аппроксимации b:

b = A (A∗A)−1

A∗b.

Матрица A (A∗A)−1

A∗ является координатным представлением оператора проекции на под-пространство V = span(a×,1, . . . ,a×,n). Можно легко убедиться, что этот оператор являетсяидемпотентным:

A (A∗A)−1

A∗A (A∗A)−1

A∗ = A (A∗A)−1

A∗.

21Мы не формулировали задачу в терминах линейных операторов и рассматривали только матрицы, нопри необходимости (и жертвуя наглядностью) все результаты можно переформулировать в операторномвиде.

47

В связи с применением метода наименьших квадратов особый интерес представляют мат-рицы A специального вида. Если в наша задача такова, что матрицу A можно выбиратьпроизвольно (по крайней мере до какой-то степени), то имеет смысл выбрать ее так, чтобысократить объем вычислений. Например, предположим, что столбцы матрицы A попарноортогональны. Тогда мы имеем A∗A = E.

Определение 1.4.13. Матрица A ∈ Cm×n называется унитарной если A∗A = E. МатрицаA ∈ Rm×n называется ортогональной если A>A = E.

Задачи и вопросы1. Докажите правило параллелограмма для евклидовой нормы: ‖x + y‖2 + ‖x − y‖2 = 2(‖x‖2 + ‖y‖2).

Нарисуйте соответствующую векторную диаграмму.

2∗. Покажите, что если в пространстве Fn задана норма, удовлетворяющая неравенству параллелограм-ма, то она может быть использована для определения скалярного произведения двух векторов из Fn.Выразите скалярное произведение через норму в случае вещественного и комплексного векторныхпространств, F = R и F = C.

3. Докажите теорему Пифагора для Fn. А именно, покажите, что для двух ортогональных векторовx,y ∈ Fn верно ‖x+ y‖2 = ‖x‖2 + ‖y‖2.

4. Используя теорему Коши-Буняковского-Шварца, докажите, что для любого конечного набора веще-ственных чисел xi ∈ R, i = 1, . . . , n, квадрат их арифметического среднего не превышает арифмети-ческого среднего квадратов, т.е. (

1

n

n∑i=1

xi

)2

≤1

n

n∑i=1

x2i .

5. Дайте оценку снизу на произведение суммы n вещественных чисел xi ∈ R, xi > 0, ∀ i = 1, . . . , n, исуммы обратных к ним величин:

? ≤(

n∑i=1

xi

)(n∑i=1

1

xi

)6. Докажите, что если x и y из Rn имеют одинаковые нормы, то векторы x+ y и x− y ортогональны.

Используя полученный результат покажите, что диагонали ромба в R2 перпендикулярны.

7. Даны x, y ∈ Fn. Докажите, что 〈x,y〉 = 0 тогда и только тогда, когда ‖x‖ ≤ ‖x+αy‖ для всех α ∈ F .8. Пусть 〈x,y〉 – скалярное произведение на Fn, а S ∈ L(Fn, Fn) – инъективное отображение. Докажите,

что 〈x,y〉S = 〈Sx, Sy〉 задает скалярное произведение на Fn.

9. Пусть f(t) и g(t) – две непрерывно дифференцируемые векторнозначные функции из R в Rn. Найдитевыражение для производной скалярного произведения d

dt〈f(t), g(x)〉. Подсказка:

1

h[〈f(t+ h), g(t+ h)〉 − 〈f(t), g(t)〉] =

=1

h[〈f(t+ h), g(t+ h)〉 − 〈f(t), g(t+ h)〉] +

1

h[〈f(t), g(t+ h)〉 − 〈f(t), g(t)〉] .

10. Пусть 〈·, ·〉a и 〈·, ·〉b – два скалярных произведения на Fn, а ‖ · ‖a и ‖ · ‖b – две нормы, порож-денные соответствующими скалярными произведениями. Докажите, что существует положительноевещественное число c такое, что для любого x ∈ Fn выполняется

‖x‖a ≤ c‖x‖b.

11. Пусть {x1, . . . ,xm} – линейно независимый набор векторов в Fn, m ≤ n. Покажите, что существуетвектор y ∈ Fn такой, что 〈y,xi〉 > 0 для всех i = 1, . . . ,m.

12. Найти полином p(x) ∈ PR3 , удовлетворяющий условиям p(0) = 0 p′(0) = 1, максимально приближаю-

щий полином g(x) = 3x+ 2 в смысле нормы, заданной скалярным произведением

〈f(x), g(x)〉 =∫ 1

0f(x)g(x)dx. (1.44)

48

13. Определим линейный оператор T ∈ L(Fn, Fn) как

T (x) = T

x1x2...xn

=

0x1...

xn−1

.Запишите выражение для T ∗(x).

14. Пусть скалярное произведение в PR2 задано формулой (1.44). Определим линейный оператор T ∈

L(PR2 , P

R2 ) как T (a0x2 + a1x+ a2) = a1x.

(a) Покажите, что этот оператор не самосопряженный.

(b) Матрица оператора T относительно базиса (1, x, x2) имеет вид

0 0 00 1 00 0 0

. Очевидно, что это

симметрическая матрица, несмотря на то, что T не самосопряженный. Объясните, есть ли тутпротиворечие?

ПроектыПроект 1 (Данил Чикилев): Дана функция y = sin(x). Необходимо найти наилучшее в смыслеминимизации квадрата нормы разности приближение этой функции полиномами порядка 3,4 и 5. Проана-лизировать полученные результаты, сравнить результат с разложением в ряд Тейлора.

Проект 2 (Егор Сташков и Елена Щетинина): Формулировка и интерпретация непрерыв-ного и дискретного преобразования Фурье с использованием методов линейной алгебры.

Проект 3 (один человек): Изучить, как алгебраические методы используются для решения задачиз теории графов. См. описание в Project_3.pdf в Dropbox.

Проект 4 (один человек): Исследование преобразования Хаара. См. описание в Project_4.pdf вDropbox.

Проект 5 (один человек): Использование методов линейной алгебры для прогнозирования резуль-татов спортивных соревнований. См. описание в Project_5.pdf в Dropbox.

Темы, которые не вошли в этот раздел для экономии времени:1. Линейные функционалы (отображения из векторного пространства в R).2. Сопряженные векторные пространства.3. Ортогональное дополнение.4. Оставшиеся 2 фундаментальных подпространства: coN (T ) = N (T>) иcoR(T ) = R(T>)

49

Глава 2

За пределами линейной алгебры

2.1 Матричные группы

2.2 Приложения

2.2.1 Pseudo-inverse and least squares

2.2.2 Singular value decomposition

2.2.3 Markov chains

2.2.4 Haar wavelet/Haar basis

2.2.5 Bernstein polynomials and spline interpolation

50

Литература

[1] Е. А. Калинина, А. Ю. Утешев

Дополнительная литература

[4] Scharnhorst, K. Angles in Complex Vector Spaces. Acta Applicandae Mathematicae 69,95–103 (2001). Online: arxiv.org/abs/math/9904077

51