[Oldring 0]

Я что-то запутался. Правильно ли я понимаю:

1. Количество непропорциональных векторов с одинаковой корреляцией к исходным бесконечно.

2. С одинаковой корреляцией и максимально-возможной - один.

3. К какому пункту относится вектор, находящийся, как обратная ковариационная матрица уноженная на единичную?

 

Всех бесконечно. Так как от умножения ветора на положительную константу корреляция не меняется.

С максимально возможной - луч одномерного подпространства, элемент в котором дается рассмотренным уравнением.

Но к этому вектору можно прибавлять сколько угодно векторов, ортогональных всем исходным сразу. Размерность такого нулевого подпространства не меньше, чем длина векторов минус их количество.

[getch 0]

Всех бесконечно. Так как от умножения ветора на положительную константу корреляция не меняется.

А непропорциональных векторов не бесконечно разве. Все та же окружность - это же непропорциональные вектора.

 

С максимально возможной - луч одномерного подпространства, элемент в котором дается рассмотренным уравнением.

Т.е. вышеприведенное решение дает вектор с максимальной корреляцией к исходным?

Но к этому вектору можно прибавлять сколько угодно векторов, ортогональных всем исходным сразу. Размерность такого нулевого подпространства не меньше, чем длина векторов минус их количество.

Погодите, если прибавлять ортогональный ко всем исходным. Это значит, что ортогональный будет иметь одинаковую нулевую корреляцию к исходным. Т.е. получается, что и максимально-коррелированный вектор к исходным может быть не единственный.

[Oldring 0]

Т.е. вышеприведенное решение дает вектор с максимальной корреляцией к исходным?

 

Да, с равной максимальной, если такой существует.

 

Погодите, если прибавлять ортогональный ко всем исходным. Это значит, что ортогональный будет иметь одинаковую нулевую корреляцию к исходным. Т.е. получается, что и максимально-коррелированный вектор к исходным может быть не единственный.

 

Нет, это ковариация не изменяется, а в корреляции в знаменателе стоит длина вектора, и длина возрастает.

Максимальный вектор единственный с точностью до положительной константы.

[getch 0]

Путаюсь. Если исходные вектора имеют единичную длину, то вектор с максимальной корреляцией к исходным и длиной единица единстенный?

Третий вектор на картине здесь - это тот самый единственный максимально-коррелированный вектор?

Вот так нахожу:

Изменено 24 ноября, 2010 пользователем getch

[Oldring 0]

это тот самый единственный максимально-коррелированный вектор?

 

Не знаю, я его не вычислял.

[getch 0]

Провел сравнение решений двух задач:

Знал, что различия будут, но что такие - не ожидал.

Складывая два сигнала в один с минимальной средне-КВАДРАТИЧНОЙ ошибкой (задача2) и минимальной средне-АБСОЛЮТНОЙ ошибкой (задача1), получил сигналы, которые вообще не похожи друг на друга.

Посмотрите весовые коэффициенты, они даже знаками различаются.

Также обратите внимание, что для получения сигнала с минимальной средне-КВАДРАТИЧНОЙ ошибкой мы всегда имеем равные абсолютные значения весовых коэффициентов (= 0.5).

 

Решил посмотреть, как выглядят коэффициенты для задач, где надо минимизировать средне-КУБИЧЕСКУЮ ошибку, средне-БИКВАДРАТНУЮ ошибку и т.д. Даже нецелые степени. Функции, которые решали задачи выше, работают мгновенно. Здесь же пришлось решать тупым перебором, но на качестве результата это не сказалось.

 

Так зависят весовые коэффициенты все на тех же исходных векторах, что выше приводились:

Интересная зависимость. Видно, что для степеней <= 1 изменение "нестандартное".

 

Теперь опустим условие, что СКО все тех же исходных векторов равно единице:

"Пересечение" весовых коэффициентов сдвинулось со степени 2 до ~18.

 

Я выбрал нечасто-попадающие исходные вектора. В 99% случаев картина такая:

Т.е. плавное изменение весовых коэффициентов при смене степени ошибки.

 

Наконец, привожу все типы попадающихся зависимостей абсолютных значений весовых коэффициентов от степени ошибки:

 

Я хотел сложить сигналы в самый "узкий". Узость определялась условием ошибки. Оказалось, что для ошибки со степенью <= 1 суммарный сигнал может сильно отличаться от тех, что со степенью ошибки > 1.

Изменено 24 ноября, 2010 пользователем getch

[getch 0]

Возможно ли обобщить метод с дифференцированием, когда минимизировалось средне-АБСОЛЮТНОЕ отклонение, с двухмерного случая на многомерный?

[Oldring 0]

Я хотел сложить сигналы в самый "узкий". Узость определялась условием ошибки. Оказалось, что для ошибки со степенью <= 1 суммарный сигнал может сильно отличаться от тех, что со степенью ошибки > 1.

 

Вы мне позволите не вникать во всю эту нумерологию?

Квадратичные нормы ошибок следуют обычно из физики, там, где они успешно применяются. Про то, что нельзя брать их с потолка, я вам писал с самого начала.

 

Возможно ли обобщить метод с дифференцированием, когда минимизировалось средне-АБСОЛЮТНОЕ отклонение, с двухмерного случая на многомерный?

 

Не знаю. Может быть и можно придумать достаточно эффективный алгоритм, работающий быстрее чем экспоненциально по числу векторов в большинстве случаев.

[getch 0]

Квадратичные нормы ошибок следуют обычно из физики, там, где они успешно применяются. Про то, что нельзя брать их с потолка, я вам писал с самого начала.

На русском языке не нашел литературы, освещающей особенности различных норм ошибок и обоснованность их применения. Лишь слышал что-то про квантильную регрессию.

Не знаю. Может быть и можно придумать достаточно эффективный алгоритм, работающий быстрее чем экспоненциально по числу векторов в большинстве случаев.

Если также находить изломы, где частные производные меняют знак, это будет работать?

[Oldring 0]

На русском языке не нашел литературы, освещающей особенности различных норм ошибок и обоснованность их применения. Лишь слышал что-то про квантильную регрессию.

 

Про квантильную регрессию не слышал ничего, знаю только, что обычно используемые квадратичные нормы следуют из квадрата в экспоненте гауссового распределения вероятностей и из общей теории оценивания.

[getch 0]

Поскажите, какие более оптимальные подходы могут быть в решении такой задачи:

Найти такой вектор V, чтобы дисперсия вектора (InMatrix*V) была минимальна.

При этом сумма АБСОЛЮТНЫХ значений элементов вектора V равна единице.

(Решение с условием "сумма КВАДРАТОВ равна единице" Вами ранее было предоставлено)

Мат. ожидание столбцов матрицы InMatrix равно нулю.

 

Текущее решение имеет сложность 2^N:

Пока решение такое (правильное, но медленное):

1. Сначала решается задача для условия, что сумма коэффициентов (не их модулей) равна единице.

1.1 Составляется ковариационная матрица из столбцов исходной.

1.2. Берется обратная.

1.3. i-й искомый весовой коэффициент равен сумме элементов i-го столбца обратной матрицы, деленной на сумму всех элементов обратной матрицы.

1.4. Дисперсия, которую мы минимизировали, равна единице, деленной на сумму всех элементов обратной матрицы.

 

2. Используем решение выше для решения задачи, где сумма МОДУЛЕЙ коэффициентов равна единице.

2.1 "Перебираем" (есть свои оптимизации, но все равно не особо быстро) все варианты. Если коэффициентов N, то количество вариантов 2^N. Таким образом находим решение. Для N = 10 - работает быстро. А вот для больших N - плохо.