Это серия статей, направленных на понимание линейной алгебры. Я твердо убежден, что важно понимать основы и уравнения, прежде чем переходить к более сложным темам. Линейная алгебра — одна из тех основ, с которыми вам нужно хорошо знать. Думайте об этом как о, скажем,… программировании.
Существует множество классных библиотек, и вы можете делать крутые вещи, просто копируя и вставляя их. Однако, если вы хотите сделать что-то действительно крутое, чего никто раньше не делал, вам нужно знать, что скрывается за сценой, чтобы вы могли сами это кодировать. В любом случае, для мотивации хватит.
Я слежу за известными лекциями доктора Гилберта Стрэнга из Массачусетского технологического института по темам, затронутым в этой серии.
Части 1, 2 и 3 уже опубликованы, и вы можете посмотреть здесь:
Материалы, описанные в части 4:
В этой истории я расскажу о следующем. В Частях 1–3 мы уже рассмотрели основы, и далее темы будут основываться на основах, которые мы уже изучили.
Курс лекций «Линейная алгебра». Часть 9: Проекторы
- Прогнозы
- Ортонормированные векторы
- Ортогональная матрица
- Процесс Грама Шмидта
Соответствующие лекции из видео д-ра Гилберта Стрэнга по этим темам — это лекции 15–17, и я бы рекомендовал вам действительно посмотреть его выступления, чтобы лучше понять материалы!
Введение в прогнозы
Сначала поговорим о «прогнозах». Проекция — это линейное преобразование векторного пространства в себя. Давайте посмотрим на простой пример. В 2D-плоскости у вас есть два вектора: «a» и «b». Вы хотите знать вектор «b», который проецируется на вектор «a». Назовем этот спроецированный вектор «p».
Поскольку «p» проецируется на «a», используя некоторый постоянный коэффициент «x», мы можем представить «p» относительно « a ». Кроме того, мы можем определить другой вектор «e», который ортогонален «a». Если записать все отношения, получится что-то вроде этого.
Итак, первая цель здесь — вычислить «x», чтобы, используя 1-е уравнение, можно было представить «p» как нечто умноженное на «a». Попробуйте как-нибудь решить уравнения.
Теперь вы знаете «x», поэтому поместите его в 1-е уравнение, чтобы узнать, что такое «p». Поскольку «x» является константой, мы могли бы немного изменить ее, чтобы изменить уравнение так, чтобы «p» представлялось «чем-то», умноженным на вектор «b».
Итак, теперь у нас есть «Матрица проекции». Это может быть трудно полностью понять из этой формы уравнения, поэтому позвольте мне привести вам конкретный пример ниже:
Допустим, у вас есть два вектора.
Точно так же, как то, что мы делали раньше при выводе уравнения для проекции, мы сделаем то же самое с реальными векторами.
Теперь, используя эту рассчитанную матрицу проекции, мы можем вычислить спроецированный вектор «p».
Теперь вы можете видеть, что спроецированный вектор «p» — это не что иное, как масштабированная версия вектора «a». Помните, что a = transpose [5, 2]? Это имеет смысл, потому что проецируемый вектор находится на векторе «a».
Линейные трансформации и матрицы | Сущность Линейной Алгебры, глава 3
Теперь давайте посмотрим на 3D-пример.
Плоскость, которую вы видите, представляет собой пространство столбцов, представленное векторами столбцов «a1» и «a2». «A» — это матрица, содержащая эти векторы-столбцы. Теперь мы хотим спроецировать на плоскость вектор «b», который не находится в этой плоскости.
Как и в случае с 2D-примером, мы определяем два вектора «p» и «e».
Поскольку «e» перпендикулярно плоскости, мы можем создать два уравнения следующим образом. Объединив эти два уравнения и изменив их соответствующим образом, мы получим коэффициент масштабирования «x».
Используя указанный выше коэффициент масштабирования, мы можем получить «p».
Теперь у нас есть «Матрица проекции»! На этот раз это более общая форма, поэтому ее можно использовать для размеров больше 3.
Давайте посмотрим на свойства.
Эта часть проекции очень важна, поэтому убедитесь, что вы хорошо ее понимаете! Он используется для вывода формул для многих алгоритмов, используемых в машинном обучении. В качестве примера приведу хорошо знакомую технику машинного обучения под названием «Машина опорных векторов (SVM)» при расчете маржи. Если вы понимаете, о чем я говорю, отлично! Если нет, ничего страшного.
Я коснусь и этой темы когда-нибудь в будущем.
Введение в ортонормированные векторы
Теперь еще одна новая тема под названием «Ортонормированные векторы». Все очень просто. Если два вектора:
- Единичные векторы
- Ортогональны друг другу
Тогда они ортонормированные векторы. В уравнениях это выражается примерно так:
6.2 Ортогональные проекторы
Пусть A самосопряженный оператор с нижней и верхней гранями m; M. Определение 6.3.1 Функция E( ); 2 R называется спектральной функцией оператора A, если выполнены условия: 1. значения функции E( ) в точках 2 R — это операторы ортогонального проектирования, перестановочные с любым оператором B, коммутирующим с A, 2. семейство E( ) монотонно, т.е., E( ) E( ) при < , 3. функция E( ) непрерывна справа, т.е., lim E( + ) = E( ) !+0
(предел понимается в сильном смысле),
| 120 | ГЛАВА 6. СПЕКТРАЛЬНАЯ ТЕОРИЯ |
4. E( ) = 0 ïðè < m è E( ) = 1 ïðè >M, 5. пусть — промежуток ( ; ], и пусть E = E( ) E( ). Тогда выполнены неравенства
| E AE E | (6.3.1) |
Спектральная теорема состоит в том, что для любого самосопряженного оператора A существует единственная спектральная функция. Дока- зательство мы отложим до следующего раздела, а здесь дадим различные комментарии и следствия. Пример 6.3.2 Пусть H конечномерно, и пусть m = 1 < 2 < : : : < n = M собственные значения A, а L i соответствующие собственные подпростран-
| ства. Положим | X |
| E( ) = | P i ; |
| i |
ãäå P i — ортогональные проекторы на подпространства L i . Таким образом, E( ) постоянна на каждом из интервалов ( i ; i+1 ), а в точках I имеет скачки, равные P i . Покажем, что так определенная функция действительно является спектральной функцией оператора A. Свойства 2,3,4 очевидны. Для доказатель- ства 1 рассмотрим оператор В, перестановочный с A. Тогда для собственного вектора e i 2 L i имеем A(Be i ) = B(Ae i ) = i (Be i ): Следовательно, Be i 2 L i , т.е., собственное подпространство инвариантно относительно B, а так как подпространства L i в сумме дают все простран- ство H, то все они приводят B. Это дает [B; P i ] = 0, а тогда и [B; E( )] = 0 при любом . Докажем теперь неравенства (6.3.1). Из определения E( ) следует, что
| X | ||
| E = | P i : | |
| i 2 | ||
| В силу ортогональности имеем P i P j | = 0, и значит, P j E = P j , åñëè j 2 , | |
| è P j E = 0, åñëè j 62 . Оператор A записывается в виде суммы | ||
| n | ||
| X i | ||
| A = | i P i ; | (6.3.2) |
| =1 | ||
а его «часть соответствующая промежутку , в виде n X X
| AE = j P j E = | j P j : |
j=1 j 2
| 6.3. СПЕКТРАЛЬНАЯ ТЕОРЕМА | 121 |
Тем самым максимальное собственное значение оператора AE не превос- ходит правого конца промежутка , а минимальное — не меньше левого конца, что и дает неравенства (6.3.1). Возвращаясь к общему случаю, отметим следующие свойства операто- ðîâ E , вытекающие из определения спектральной функции. Доказательства в основном предоставляются читателю в качестве упражнений.
1. Значения E( ) и E( ) в разных точках и перестановочны. 2. Подпространство Im E( ) содержится в Im E( ) при < , или же E( )E( ) = E( ). 3. E = E( ) E( ) — это ортопроектор на подпространство Im E( ) (Im E( )) ? . 4. E 1 E 2 = E 1 2 , в частности E 1 E 2 = 0, åñëè 1 è 2 не пересекаются.
В конечномерном пространстве функция E( ) кусочно постоянна, а для оператора имеет место представление в виде суммы (6.3.2), взятой по точ- кам разрыва спектральной функции. В бесконечномерном случае E( ) мо- жет быть непрерывной и даже гладкой функцией, поэтому представление (6.3.2), вообще говоря, невозможно. Вместо этого имеем интегральное представление, которое мы здесь определим и обсудим. Пусть a < m; b >M. Разобьем отрезок [a; b] a = 0 < 1 < 2 : : : < n = b произвольными точками i и положим i = ( i 1 ; i ], E i = E( i ) E( i 1 ): Тогда неравенства (6.3.1) дают i 1 E i AE i i E i : Выберем также произвольные точки i 2 i . Тогда i 1 E i i E i i E i : Из этих двух неравенств следует, что j i jE i (A i )E i j i jE i ; ãäå j i j = i i 1 — длина i . Полагая = max j i j, будем иметь E i AE i i E i E i : Просуммируем эти неравенства и учтем, что
| n | n | n |
| X | X i | X |
| E i = 1; | AE i = A E i = A: | |
| i=1 | =1 | i=1 |
Тогда приходим к неравенству
| n | |
| X i | ; |
| A i E i | |
| =1 |
| 122 | ГЛАВА 6. СПЕКТРАЛЬНАЯ ТЕОРИЯ |
что можно переписать в виде n X kA i E i k : i=1 Таким образом, мы приходим к следующей теореме.
Теорема 6.3.3 Пусть симо от способа разбиения и сходимости по операторной
= max j i j стремится к нулю. Тогда незави- выбора точек i существует предел (в смысле норме)
n
| X i | |||
| lim | i E i | = A; | (6.3.3) |
| !0 | =1 |
равный оператору A. Рассматриваемые суммы напоминают интегральные суммы, но вместо длины промежутков i берется их «проекторная мера» E i . Для предела
| (6.3.3) водится обозначение | a b dE( ); называемое интегралом Стильтье- | |
| са по спектральной функции R E( ). Таким образом, из свойства 5 спектраль- | ||
| ной функции вытекает, что оператор A представляется интегралом Стиль- | ||
| тьеса | A = Z a b dE( ): | |
| (6.3.4) | ||
Упражнение 6.3.4 Доказать, что если E( ) кусочно постоянна, то ин- теграл (6.3.4) совпадает с суммой (6.3.2), где i — точки разрыва спектраль- ной функции, а P i = E( i + 0) E( i 0) — скачки в точках разрыва. Из формулы (6.3.3) можно получить формулу для степеней оператора A Z b A n = n dE( ): a
Докажем ее при n = 2. Имеем
| A = | 0 | i E i ! | 2 | |||
| = 0 | ||||||
| n | ||||||
| 2 | lim | X i | lim | |||
| ! | =1 | ! | ||||
| Поскольку E I E j | = 0 ïðè i 6= j à (E i ) 2 | |||||
| преобразуется к виду | ||||||
| n | b | |||||
| !0 i=1 i E i = Z a | ||||||
| X | ||||||
| lim | 2 |
n n X X i E i j E J : i=1 j=1 = E i , то последнее выражение 2 dE( ):
Упражнение 6.3.5 Доказать, что для любого многочлена f( ) справедлива формула
Источник: studfile.net
Линейная алгебра: что это такое, как разобраться с матрицами
Линейная алгебра — это часть высшей математики, которая нужна будет при работе с искусственным интеллектом, машинным обучением и большими данными. Сегодня мы затронули лишь теоретическую часть темы «что такое линейная алгебра» и рассказали об ее основных составляющих. Мы продолжим цикл статей по этой тематике.