[Oldring 0]

Подскажите, где можно почитать на эту тему? Или это все тот же MIT-курс лекций освещает?

 

Не помню, упоминает ли явно. Максимальное собственное значение обратной матрицы соответствует минимальному собственному значению исходной. Обращение матрицы обращает её собственные значения. Возведение матрицы в степень возводит в степень её собственные значения, не изменяя собственных векторов. И это всё изучается в любом нормальном курсм линейной алгебры.

[getch 0]

Не помню, упоминает ли явно. Максимальное собственное значение обратной матрицы соответствует минимальному собственному значению исходной. Обращение матрицы обращает её собственные значения. Возведение матрицы в степень возводит в степень её собственные значения, не изменяя собственных векторов. И это всё изучается в любом нормальном курсм линейной алгебры.

Но где здесь упоминание итерационного подхода?

Еще не сообразил, почему берется именно корреляционная матрица.

И нужно ли приводить столбцы исходной матрицы к нулевому МО? Такое же преобразование на корреляционную матрицу не должно повлиять?

Изменено 9 сентября, 2010 пользователем getch

[Oldring 0]

Но где здесь упоминание итерационного подхода?

 

Возведение в степень выделяет максимальное собственное значение. С учетом перенормировки результата остальные собственные значения обуляются.

 

Еще не сообразил, почему берется именно корреляционная матрица.

И нужно ли приводить столбцы исходной матрицы к нулевому МО? Такое же преобразование на корреляционную матрицу не должно повлиять?

 

Потому что дисперсия есть результат квадратичной формы с ковариационной матрицей на векторе коэффициентов.

Нужно приводить, иначе будет минимизироваться не дисперсия, а сумма квадратов результата. И матрица V'*V получится совсем не ковариационная.

[getch 0]

Потому что дисперсия есть результат квадратичной формы с ковариационной матрицей на векторе коэффициентов.

Нужно приводить, иначе будет минимизироваться не дисперсия, а сумма квадратов результата. И матрица V'*V получится совсем не ковариационная.

Так все таки ковариационная или корреляционная матрица? Во втором случае мы зависим от дисперсии столбцов исходной матрицы. Надо ли их дисперсию приводить к единице?

Изменено 9 сентября, 2010 пользователем getch

[Oldring 0]

Так все таки ковариационная или корреляционная матрица? Во втором случае мы зависим от дисперсиис столбцоа исходной матрицы. Надо ли их дисперсию приводить к единице?

 

Нет, ни в коем случае. Именно ковариационная. Именно V'*V.

[getch 0]

Генерировал десятки тысяч случайных векторов, сумма квадратов которых равна единице. И сравнивал дисперсии с найденной по Вашей методике. Ваш вектор всегда оказывался оптимальным.

 

Уважаемый Oldring, фактически Вы не только полностью решили задачу, но и помогли ее правильно сформулировать и доопределить. Я в восторге от предложенного Вами красивого решения, в восхищении от мощности инструмента линейной алгебры и Вашим фундаментальным пониманием ее.

 

Честно признаюсь, просил помощи на нескольких форумах мат. направленности, но нигде мне ничего вразуметильного не ответили. Был приятно поражен отзывчивостью форумчан до селе неизвестного мне форума Electronix.

Всем ответившим огромное спасибо, и, конечно, еще раз отдельная благодарность Oldring!

 

Возникло огромное желание овладеть хотя бы основами линейной алгебры. К сожалению не владею техническим английским на уровне понимания рекомендуемого Oldring MIT-курса. Воспользуюсь книгами, упоминавшимися в этой ветке.

[Oldring 0]

Похвала всегда приятна, спасибо.

[getch 0]

Для меня понятно одно свойство решения, но раньше мог и ошибаться, поэтому спрашиваю:

При добавлении любого нового столбца в исходную матрицу, дисперсия нового оптимального решения увеличиваться не будет?

[Oldring 0]

Для меня понятно одно свойство решения, но раньше мог и ошибаться, поэтому спрашиваю:

При добавлении любого нового столбца в исходную матрицу, дисперсия нового оптимального решения увеличиваться не будет?

 

Нет, только уменьшаться в случае появления новых недиагональных элементов корреляционной матрицы. Которые будут почти всегда на реальных данных.

[getch 0]

И нужно ли приводить столбцы исходной матрицы к нулевому МО? Такое же преобразование на корреляционную матрицу не должно повлиять?

Нужно приводить, иначе будет минимизироваться не дисперсия, а сумма квадратов результата. И матрица V'*V получится совсем не ковариационная.

На ковариационную матрицу МО столбцов никакого влияния не оказывает(т.к. cvar(V1, V2) == cvar(V1 + Scalar1, V2 + Scalar2)). Но решение будет верно с такой ковариационной матрицей только для столбцов с нулевым МО.

Изменено 14 сентября, 2010 пользователем getch

[getch 0]

Столкнулся с необъяснимой ситуацией. Исходных векторов всего два (длина 288). Вот так они выглядят и решение задачи:

Посмотрите, какое решение получилось. Вектор (0; 1)! Разве может такое быть?! Ведь теоретически такое возможно, только когда дисперсия одного из исходных векторов равна нулю.

Брал сотни тысяч случайных альтернативных векторов. Все они показывали NewVector с более высокой дисперсией.

Но все же не объяснить, как такое возможно?!

На всякий случай прилагаю файл с исходными векторами: Analyse.rar

Изменено 30 сентября, 2010 пользователем getch

[Oldring 0]

Посмотрите, какое решение получилось. Вектор (0; 1)! Разве может такое быть?! Ведь теоретически такое возможно, только когда дисперсия одного из исходных векторов равна нулю.

 

Нет, теоретически такое возможно, когда коэффициент корреляции двух векторов вблизи нуля. В этом случае наименьшую дисперсию суммы даёт вектор с наименьшей дисперсией.

 

В ваших данных явно видна проблема нехватки статистики. Корреляцию и дисперсию определяют одно - два больших изменения сигнала в начале записи. В зависимости от того, где произвольно начата запись, результат может получиться почти любым. :)

[getch 0]

Нет, теоретически такое возможно, когда коэффициент корреляции двух векторов вблизи нуля. В этом случае наименьшую дисперсию суммы даёт вектор с наименьшей дисперсией.

Посмотрел корреляцию этих исходных векторов. Действительно, почти нулевая.

Похоже, я не понимаю особенность условия суммы квадратов членов вектора-решения равная единице.

А если бы было условие, сумма абсолютных значений членов вектора-решения равна единице, то сам метод нахождения такого решения был бы совсем непростым? Такая задача не "обсосана"?

В таком случае для векторов выше было бы решение (0.16; 0.84).

Про корреляция что-то не понимаю. Определение ее знаю. Но ее часто используют для определения взаимосвязей. Нулевая корреляция - отсутствие взаимосвязи. Но как же так, если есть (0.16; 0.84)? Значит взаимосвязь имеется и нехилая - дисперсия NewVector значительно меньше дисперсий исходных векторов.

Изменено 30 сентября, 2010 пользователем getch

[Oldring 0]

А если бы было условие, сумма абсолютных значений членов вектора-решения равна единице, то сам метод нахождения такого решения был бы совсем непростым? Такая задача не "обсосана"?

 

Тогда случай сложнее. Мы приходим почти что к общей задаче квадратичного программирования с линейными ограничениями. Так как ограничение оказывается лишь кусочно-дифференцируемой замкнутой гиперповерхностью размерности n-1, минимум может оказаться на особенности ограничения меньшей размерности, и поэтому, чтобы его найти, нужно перебирать вершины, ребра разной размерности и грани. Задача гораздо более трудоёмкая. Но не забывайте, что каким бы образом ни описывалось ваше органичение, сам минимизируемый функционал есть значение квадратичной формы с коррелиционной матрицей внутри, поэтому суммировать все длиннные вектора постоянно не нужно.

 

Про корреляция что-то не понимаю. Определение ее знаю. Но ее часто используют для определения взаимосвязей. Нулевая корреляция - отсутствие взаимосвязи. Но как же так, если есть (0.16; 0.84)? Значит взаимосвязь имеется и нехилая - дисперсия NewVector значительно меньше дисперсий исходных векторов.

 

Добро пожаловать в реальный мир.

Не всегда взаимосвязь между реальными процессами выражается в виде корреляции, и не всегда полученная по реальным данным оценка корреляции означает наличие или отсутствие взаимосвязи. Я вам рассказал как обходиться с дисперсией, но вот как обходиться с "взаимосвязью" в общем случае я вам не расскажу. Возможно, именно за это и получали свою нобелевку упоминавшиеся вам экономисты.

 

А что касается "уменьшения дисперсии" - так вы наступаете на те же грабли, что наступали уже неоднократно. Нулевой вектор весов заведомо даст абсолютный минимум дисперсии, равный нулю, но он вам нужен? Минимум зависит от более или менее произвольно выбранного ограничения, на котором ищется минимум вашего квадратичного функционала, который вы называете "дисперсия".

[getch 0]

Нет, теоретически такое возможно, когда коэффициент корреляции двух векторов вблизи нуля. В этом случае наименьшую дисперсию суммы даёт вектор с наименьшей дисперсией.

И при корреляции 1 такое возможно. Пример:

Исходный вектор1: (-1)^k - дисперсия 1, МО = 0.

Исходный вектор2: 2 * (-1)^k - дисперсия 2, МО = 0.

Корреляция 1.

Оптимальный вектор решения (1; 0).

Изменено 30 сентября, 2010 пользователем getch