Jump to content

    

Распознавание музыкальных инструментов

Хочется помочь сыну - музыканту хитрым шоу-проектором, чтобы украсить его выступления. Банальное частотное разделение скушно...

Понятно, что задача распознавания сама по себе сложна и требует огромной производительности, но если не ставить жестко требования 95% различения, ограничиться 70%, то можно позволить себе на хорошем контроллере в сочетании с FPGA приемлемое решение.

Теоретически я представляю построение системы и даже (самое муторное) обучение (на фрагментах сольных проходов в джазе разных инструментов). Но во мне стопор после усвоения академического распознавания графических образов, где картинка статична. Кто подскажет, как перейти во временную область? Ведь для музыки это основное...

Кто из опытных нейро-сетевиков ткнет в "мурзилку" по этой теме? Образы во времени как проще формировать?... :fman:

 

Заранее благодарен за любую информацию... :tort:

 

Задача хороша как учебная. Присоединяйтесь!

http://portal.tpu.ru/SHARED/s/STANKEVICHFV...Instruments.pdf тут этого нет

 

Share this post


Link to post
Share on other sites

Берем программу концерта, берем партитуры произведений. Синхронизирумся, например, по сильным долям. Всё.

 

Или микрофон к каждой группе инструментов.

 

Задача хороша как учебная. Присоединяйтесь!

Share this post


Link to post
Share on other sites
Берем программу концерта, берем партитуры произведений. Синхронизирумся, например, по сильным долям. Всё.

 

Или микрофон к каждой группе инструментов.

 

 

А если человек под минус играет?

 

Share this post


Link to post
Share on other sites
.....Или микрофон к каждой группе инструментов.

Обучение традиционно. Ничего нового.

Вы проясните про черный ящик, который будет это требовать...

 

 

А если человек под минус играет?

А если еще проще?... Тупо выявлять сильные доли и промежуточные ритмы(если есть) для визуального отображения....

 

Share this post


Link to post
Share on other sites

черный ящик очень прост: в каждом микрофонном канале стоит усилитель, детектор, фнч, пороговое устройство и драйвер лампочки. заиграли на инструменте, и лампочка зажглась.

 

С партитурой чуть сложнее. Но зато с минусом проблема решается.

 

Обучение традиционно. Ничего нового.

Вы проясните про черный ящик, который будет это требовать...

Share this post


Link to post
Share on other sites

А. Подключитесь прямо к каналам в пульте. :rolleyes:

Б. С помощью БПФ разделите спектр на 1024 части, а дальше (фантазируйте) импровизируйте, по какому шаблону в какой канал свет подавать. Шкала частот, правда, должна быть логарифмической. Да и амплитуда тоже.

Share this post


Link to post
Share on other sites
черный ящик очень прост: в каждом микрофонном канале стоит усилитель, детектор, фнч, пороговое устройство и драйвер лампочки. заиграли на инструменте, и лампочка зажглась.

 

С партитурой чуть сложнее.

:lol: Да вы идеалист!... Тут нужно универсальное решение вылавливать из общего потока инструментов 6....

 

А. Подключитесь прямо к каналам в пульте. :rolleyes:

Б. С помощью БПФ разделите спектр на 1024 части, а дальше (фантазируйте) импровизируйте, по какому шаблону в какой канал свет подавать.

А. Потрясающая дешевизна...

Б. Да хоть на 128.... Это частотное разделение, но фактора времени(долгосрочного фактора) тут нет... Это каша.... Да и ноль обучения.

 

Share this post


Link to post
Share on other sites

такой вопрос, чтобы было понятно на берегу: вы хотите решить задачу или понаблюдать за ходом дискуссии, касающейся ее решения?

Да вы идеалист!...

Share this post


Link to post
Share on other sites
такой вопрос, чтобы было понятно на берегу: вы хотите решить задачу или понаблюдатьза ходом дискуссии, касающейся ее решения?

Хочу понять переход во время... Статика не интересна для музыки.

Мне нужен базис. Фундамент. Дальше я сам разберусь...

 

Неужели коррелятор на 6 базовых инструментов - единственное решение? Не верю...

Share this post


Link to post
Share on other sites

- Находите описание мат. моделей для инструментов.

вот например https://hal.inria.fr/hal-00739380/file/RR-8097.pdf; http://www.icacommission.org/Proceedings/I...01Rome/8_05.pdf

- Оцениваете параметры модели для каждого инструмента по принятому сигналу

- проверяете валидность параметров каждой модели

- если "да", то зажигаете соотв. лампочку

 

Плёвое дело.

 

Успехов.

 

Хочу понять переход во время... Статика не интересна для музыки.

Мне нужен базис. Фундамент. Дальше я сам разберусь...

Share this post


Link to post
Share on other sites
- Находите описание мат. моделей для инструментов.

вот например https://hal.inria.fr/hal-00739380/file/RR-8097.pdf; http://www.icacommission.org/Proceedings/I...01Rome/8_05.pdf

- Находите параметры модели для каждого инструмента по принятому сигналу

- проверяете валидность параметров моделей

- если "да", то зажигаете лампочку

 

Плёвое дело.

 

Успехов.

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

 

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением, а "простым сравнением" здесь не обойтись... Например, игра рояли говорят отличается от игры на пианино... Хотя... я не музыкант...

Когда играет оркестр то там я например уже могу не отличить какие играют инструменты (на слух)

Share this post


Link to post
Share on other sites

Любопытно... Спасибо. На сколько я помню эти модели строились давно. ТИИИЭР где -то от 1977года

вот например http://electronix.ru/redirect.php?https://...ile/RR-8097.pdf

Успехов.

Не удается получить доступ к сайту.... ((((

 

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением...

Совершенно верно. Я с самого начала об этом говорю...

Share this post


Link to post
Share on other sites

а вы попробуте придумать задачу, где бы такое устройство могло сгодиться.

 

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

 

.. и обязательно cloud computing и big data. без этого сейчас даже елочная гирлянда не мигает.

 

Мне кажется здесь попахивает "искусственным интеллектом" и его обучением...

Share this post


Link to post
Share on other sites
а вы попробуте придумать задачу, где бы такое устройство могло сгодиться.

В моем первом топике указано - цвето- лазерная установка для проекции на экран. (Можно расширять до распределенных LED-пано) Живет своей жизнью(как обучили). Высока вероятность, что от выступления к выступлению видеоряд не воспроизводится (громкость, темп, настройка микшером разная...)

 

 

В приципе, - можно упростить задачу(для начала) одними ударными, чтобы различалось бас-барабан, рабочий барабен, тарелки, хет, и дополнительные тон -барабаны...

 

интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов?

Есть такое на базе PC. В основном как помощник при написании партитур...

 

http://www.widisoft.com/russian/help/widi4...umdetection.htm

http://www.mymusictools.com/rus/download/%...BD%D0%BE%D1%82/

 

Share this post


Link to post
Share on other sites

Непонятно как распознавание связано с эффектным представлением.

 

Другое дело, что Фурье плохо подходит, так как не все звуковые сигналы похожи на его базисные функции. Стоит посмотреть в сторону пакетных вейвлетов.

 

http://www.mathworks.com/help/wavelet/ug/w...et-packets.html

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this