Перейти к содержанию
    

Распознавание музыкальных инструментов

Хочется помочь сыну - музыканту хитрым шоу-проектором, чтобы украсить его выступления. Банальное частотное разделение скушно...

Понятно, что задача распознавания сама по себе сложна и требует огромной производительности, но если не ставить жестко требования 95% различения, ограничиться 70%, то можно позволить себе на хорошем контроллере в сочетании с FPGA приемлемое решение.

Теоретически я представляю построение системы и даже (самое муторное) обучение (на фрагментах сольных проходов в джазе разных инструментов). Но во мне стопор после усвоения академического распознавания графических образов, где картинка статична. Кто подскажет, как перейти во временную область? Ведь для музыки это основное...

Кто из опытных нейро-сетевиков ткнет в "мурзилку" по этой теме? Образы во времени как проще формировать?... :fman:

 

Заранее благодарен за любую информацию... :tort:

 

Задача хороша как учебная. Присоединяйтесь!

http://portal.tpu.ru/SHARED/s/STANKEVICHFV...Instruments.pdf тут этого нет

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Берем программу концерта, берем партитуры произведений. Синхронизирумся, например, по сильным долям. Всё.

 

Или микрофон к каждой группе инструментов.

 

Задача хороша как учебная. Присоединяйтесь!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Берем программу концерта, берем партитуры произведений. Синхронизирумся, например, по сильным долям. Всё.

 

Или микрофон к каждой группе инструментов.

 

 

А если человек под минус играет?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

.....Или микрофон к каждой группе инструментов.

Обучение традиционно. Ничего нового.

Вы проясните про черный ящик, который будет это требовать...

 

 

А если человек под минус играет?

А если еще проще?... Тупо выявлять сильные доли и промежуточные ритмы(если есть) для визуального отображения....

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

черный ящик очень прост: в каждом микрофонном канале стоит усилитель, детектор, фнч, пороговое устройство и драйвер лампочки. заиграли на инструменте, и лампочка зажглась.

 

С партитурой чуть сложнее. Но зато с минусом проблема решается.

 

Обучение традиционно. Ничего нового.

Вы проясните про черный ящик, который будет это требовать...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А. Подключитесь прямо к каналам в пульте. :rolleyes:

Б. С помощью БПФ разделите спектр на 1024 части, а дальше (фантазируйте) импровизируйте, по какому шаблону в какой канал свет подавать. Шкала частот, правда, должна быть логарифмической. Да и амплитуда тоже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

черный ящик очень прост: в каждом микрофонном канале стоит усилитель, детектор, фнч, пороговое устройство и драйвер лампочки. заиграли на инструменте, и лампочка зажглась.

 

С партитурой чуть сложнее.

:lol: Да вы идеалист!... Тут нужно универсальное решение вылавливать из общего потока инструментов 6....

 

А. Подключитесь прямо к каналам в пульте. :rolleyes:

Б. С помощью БПФ разделите спектр на 1024 части, а дальше (фантазируйте) импровизируйте, по какому шаблону в какой канал свет подавать.

А. Потрясающая дешевизна...

Б. Да хоть на 128.... Это частотное разделение, но фактора времени(долгосрочного фактора) тут нет... Это каша.... Да и ноль обучения.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

такой вопрос, чтобы было понятно на берегу: вы хотите решить задачу или понаблюдать за ходом дискуссии, касающейся ее решения?

Да вы идеалист!...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

такой вопрос, чтобы было понятно на берегу: вы хотите решить задачу или понаблюдатьза ходом дискуссии, касающейся ее решения?

Хочу понять переход во время... Статика не интересна для музыки.

Мне нужен базис. Фундамент. Дальше я сам разберусь...

 

Неужели коррелятор на 6 базовых инструментов - единственное решение? Не верю...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

- Находите описание мат. моделей для инструментов.

вот например https://hal.inria.fr/hal-00739380/file/RR-8097.pdf; http://www.icacommission.org/Proceedings/I...01Rome/8_05.pdf

- Оцениваете параметры модели для каждого инструмента по принятому сигналу

- проверяете валидность параметров каждой модели

- если "да", то зажигаете соотв. лампочку

 

Плёвое дело.

 

Успехов.

 

Хочу понять переход во время... Статика не интересна для музыки.

Мне нужен базис. Фундамент. Дальше я сам разберусь...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

- Находите описание мат. моделей для инструментов.

вот например https://hal.inria.fr/hal-00739380/file/RR-8097.pdf; http://www.icacommission.org/Proceedings/I...01Rome/8_05.pdf

- Находите параметры модели для каждого инструмента по принятому сигналу

- проверяете валидность параметров моделей

- если "да", то зажигаете лампочку

 

Плёвое дело.

 

Успехов.

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

 

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением, а "простым сравнением" здесь не обойтись... Например, игра рояли говорят отличается от игры на пианино... Хотя... я не музыкант...

Когда играет оркестр то там я например уже могу не отличить какие играют инструменты (на слух)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Любопытно... Спасибо. На сколько я помню эти модели строились давно. ТИИИЭР где -то от 1977года

вот например http://electronix.ru/redirect.php?https://...ile/RR-8097.pdf

Успехов.

Не удается получить доступ к сайту.... ((((

 

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением...

Совершенно верно. Я с самого начала об этом говорю...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

а вы попробуте придумать задачу, где бы такое устройство могло сгодиться.

 

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

 

.. и обязательно cloud computing и big data. без этого сейчас даже елочная гирлянда не мигает.

 

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

а вы попробуте придумать задачу, где бы такое устройство могло сгодиться.

В моем первом топике указано - цвето- лазерная установка для проекции на экран. (Можно расширять до распределенных LED-пано) Живет своей жизнью(как обучили). Высока вероятность, что от выступления к выступлению видеоряд не воспроизводится (громкость, темп, настройка микшером разная...)

 

 

В приципе, - можно упростить задачу(для начала) одними ударными, чтобы различалось бас-барабан, рабочий барабен, тарелки, хет, и дополнительные тон -барабаны...

 

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

Есть такое на базе PC. В основном как помощник при написании партитур...

 

http://www.widisoft.com/russian/help/widi4...umdetection.htm

http://www.mymusictools.com/rus/download/%...BD%D0%BE%D1%82/

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Непонятно как распознавание связано с эффектным представлением.

 

Другое дело, что Фурье плохо подходит, так как не все звуковые сигналы похожи на его базисные функции. Стоит посмотреть в сторону пакетных вейвлетов.

 

http://www.mathworks.com/help/wavelet/ug/w...et-packets.html

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Присоединяйтесь к обсуждению

Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.

Гость
Ответить в этой теме...

×   Вставлено с форматированием.   Вставить как обычный текст

  Разрешено использовать не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отображать как обычную ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставлять изображения напрямую. Загружайте или вставляйте изображения по ссылке.

×
×
  • Создать...