Перейти к содержанию
    

Сложение сигналов в самый "узкий"

Не зря же дисперсия - это среднеквадратичная ошибка, а не среднеабсолютная ошибка.

 

Конечно не зря.

Просто у гауссового распределения случайных величин, к которому стремятся практически все суммы распределений в пределе больших чисел, в экспоненте стоит именно квадрат ошибки. А вероятность совместного распределения независимых гауссово распределенных величин содержит сумму квадратов ошибок в экспоненте. Поэтому минимизируя дисперсию мы максимизируем вероятность такого совместного распределения, если в двух словах. Независимых гауссово распределенных величин :) У вас, конечно, именно такой случай?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Независимых гауссово распределенных величин :) У вас, конечно, именно такой случай?

Не имею дело с гауссово распределенными величинами. Более того, эти величины нестационарны.

Но, что интересно, определенная линейная сумма нестационарных величин при минимизации дисперсии показывает очень хорошее распределение...

Понимаю, что линейная связь в академическом опеределении - это мера угла между векторами. Но это определение мне не нравится на интуитивном уровне.

По мне так, линейная связь - это возможность уменьшения дисперсии линейной суммы векторов. Сумма абсолютных значений весовых коэффициентов которых равна единице.

Изменено пользователем getch

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

По мне так, линейная связь - это возможность уменьшения дисперсии линейной суммы векторов. Сумма абсолютных значений весовых коэффициентов которых равна единице.

 

Ещё и ещё раз. Дисперсия линейной комбинации зависит от нормировки вектора весов. Для одного и того же направления вектора весов дисперсия пропорциональна квадрату его длины. Поэтому говорить про минимизацию дисперсии без учета нормировки вектора весов бессмысленно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Извиняюсь за вмешательство.

Но хотелось бы немного для себя разъяснить. Вы тут пытаетесь сделать как можно узкий сигнал, т.е. суммарный размах амплитуды должен быть минимален у сигнала во времени с максимальным числом гармоник в нём???

А что тогда скажете про ЛЧМ???

А то вот при использовании ЛЧМ сигнала с 255 гармониках длинной в 512 семпла и амплитудой каждой гармоники 1 размах, получается, от -17 да 16.29, а если сделать число гармоник больше то и размах увеличивается. А я этот сигнал отправляю в АЦП, а он 16 бит, так что максимальное значение, которое он примет без искажения будет 32768 и не трудно посчитать максимальную амплитуду каждой гармоники. Т.е. при увеличении числа гармоник их амплитуда падает а, следовательно, сигнал / шум на выходе ЦАП уменьшается.

Изменено пользователем ivan219

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ещё и ещё раз. Дисперсия линейной комбинации зависит от нормировки вектора весов. Для одного и того же направления вектора весов дисперсия пропорциональна квадрату его длины. Поэтому говорить про минимизацию дисперсии без учета нормировки вектора весов бессмысленно.

Нормирую же вектор весовых коэффициентов условием, что сумма их абсолютных значений равна единице.

 

Вы тут пытаетесь сделать как можно узкий сигнал, т.е. суммарный размах амплитуды должен быть минимален у сигнала во времени с максимальным числом гармоник в нём???

В идеале хотелось бы получить И максимальную частоту (плохо владею терминологией ЦОС) суммарного сигнала. Т.е. суммарный сигнал должен максимальное количество раз пересечь свое МО. Минимизация дисперсии - это не задача максимизации частоты. Но ее решение на моих данных показывает довольно хорошие результаты: не получается так, что сигнал долго находится выше МО, затем долго - ниже. МО относительно часто пересекается.

Формализовать (чтобы потом можно было заняться оптимизационной задачей максимизации) частоту суммарного сигнала пока не могу. Похоже требуется разложить суммарный (возможно, достаточно только входные) сигнал на гармоники. Разложение Фурье, наверное (эта тема в парктическом применении мне мало знакома), стоит применять только на больших выборках сигнала.

Решение же задачи минимизации дисперсии в виде вектора весовых коэффициентов позволяет говорить о линейных взаимовязях входных данных не только на качественном уровне (коэффициенты корреляции), но и на количественном. Можно оценивать степень линейных взаимосвязей сразу многих входных сигналов.

Изменено пользователем getch

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нормирую же вектор весовых коэффициентов условием, что сумма их абсолютных значений равна единице.

 

Бессмысленная нормировка нередко приводит к бессмысленным результатам. За исключением некоторых экстремальных теорем, в которых используется, эквивалентность всех норм. Но в этих теоремах обычно ничего не говорится про направление, так как направления оказываются неэквивалентными, только органичения на саму норму можно записать с точностью до константы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Объясните, пожалуйста, чем поставленная задача отличается от многомерной линейной регрессии.

Там задача решается по МНК через сингулярное разложение. Вы же нашли решение, вроде, той же задачи, гораздо более простое.

Что я не понимаю?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вы же нашли решение, вроде, той же задачи, гораздо более простое.

Что я не понимаю?

 

Отличается тем, что сингулярное разложение работает и в случае вырожденных ковариационных матриц. Которые практически не встречаются, если только не запускать на вход копии одного и того же сигнала.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Получается тогда, что ваш алгоритм гораздо проще известного решения многомерной линейной регрессии, гораздо быстрее выполняется. Вообщем, явно лучше. И странно, что в случае довольно обсосанной многомерной линейной регресси он не упоминается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Получается тогда, что ваш алгоритм гораздо проще известного решения многомерной линейной регрессии, гораздо быстрее выполняется. Вообщем, явно лучше. И странно, что в случае довольно обсосанной многомерной линейной регресси он не упоминается.

 

Я вам наврал. Многомерная линейная регрессия - это другая задача. Она соответствует вашей задаче, если требовать коэффиициент при одном выделенном векторе равным -1. Но вашу задачу с нормировкой модуля вектора коэффициентов на 1 можно решать и через SVD.

 

Математики вообще любят общие методы, тем более, что давным-давно написаны качественные универсальные библиотеки линейной алгебры.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я вам наврал. Многомерная линейная регрессия - это другая задача. Она соответствует вашей задаче, если требовать коэффиициент при одном выделенном векторе равным -1. Но вашу задачу с нормировкой модуля вектора коэффициентов на 1 можно решать и через SVD.

Моя задача с нормировкой легко сводится к задаче с выделенным одним коэффициентом в качестве единицы.

А решение моей задачи через SVD видится гораздо более ресурсоемким.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Моя задача с нормировкой легко сводится к задаче с выделенным одним коэффициентом в качестве единицы.

 

Нет. Опять те же грабли.

 

SVD полезно для вычисления псевдоинверсии в случае вырожденной ковариационной матрицы. Для матрицы полного ранга достаточно вычислить обычную инверсию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нет. Опять те же грабли.

Почему-то понять не могу:

моя задача имеет решение V1 * X1 + V2 * X2 + ... + Vn * Xn = D - мин. дисперсия.

Значит это решение регрессии: X1 = D / V1 - X2 * V2 / V1 - ... - Xn * Vn / V1.

 

Если возможно, приведите какой-нибудь простой невырожденный пример, чтобы понять, в каком месте головы у меня гвоздь.

Изменено пользователем getch

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Значит это решение регрессии: X1 = D / V1 - X2 * V2 / V1 - ... - Xn * Vn / V1.

 

Это не регрессия.

Вы опять путаете различные условные минимумы.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Это не регрессия.

Но как же так, ведь регрессия формулируется так:

X1 = V2 * X2 + ... + Vn * Xn + E, где E имеет мин. дисперсию. Здесь E = D / V1

 

 

Приведите, пожалуйста, простой невырожденный контрпример.

Изменено пользователем getch

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Присоединяйтесь к обсуждению

Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.

Гость
К сожалению, ваш контент содержит запрещённые слова. Пожалуйста, отредактируйте контент, чтобы удалить выделенные ниже слова.
Ответить в этой теме...

×   Вставлено с форматированием.   Вставить как обычный текст

  Разрешено использовать не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отображать как обычную ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставлять изображения напрямую. Загружайте или вставляйте изображения по ссылке.

×
×
  • Создать...