Мур 0 Posted April 22, 2016 · Report post Хочется помочь сыну - музыканту хитрым шоу-проектором, чтобы украсить его выступления. Банальное частотное разделение скушно... Понятно, что задача распознавания сама по себе сложна и требует огромной производительности, но если не ставить жестко требования 95% различения, ограничиться 70%, то можно позволить себе на хорошем контроллере в сочетании с FPGA приемлемое решение. Теоретически я представляю построение системы и даже (самое муторное) обучение (на фрагментах сольных проходов в джазе разных инструментов). Но во мне стопор после усвоения академического распознавания графических образов, где картинка статична. Кто подскажет, как перейти во временную область? Ведь для музыки это основное... Кто из опытных нейро-сетевиков ткнет в "мурзилку" по этой теме? Образы во времени как проще формировать?... :fman: Заранее благодарен за любую информацию... :tort: Задача хороша как учебная. Присоединяйтесь! http://portal.tpu.ru/SHARED/s/STANKEVICHFV...Instruments.pdf тут этого нет Quote Ответить с цитированием Share this post Link to post Share on other sites
FatRobot 0 Posted April 22, 2016 · Report post Берем программу концерта, берем партитуры произведений. Синхронизирумся, например, по сильным долям. Всё. Или микрофон к каждой группе инструментов. Задача хороша как учебная. Присоединяйтесь! Quote Ответить с цитированием Share this post Link to post Share on other sites
thermit 0 Posted April 22, 2016 · Report post Берем программу концерта, берем партитуры произведений. Синхронизирумся, например, по сильным долям. Всё. Или микрофон к каждой группе инструментов. А если человек под минус играет? Quote Ответить с цитированием Share this post Link to post Share on other sites
Мур 0 Posted April 22, 2016 · Report post .....Или микрофон к каждой группе инструментов. Обучение традиционно. Ничего нового. Вы проясните про черный ящик, который будет это требовать... А если человек под минус играет? А если еще проще?... Тупо выявлять сильные доли и промежуточные ритмы(если есть) для визуального отображения.... Quote Ответить с цитированием Share this post Link to post Share on other sites
FatRobot 0 Posted April 22, 2016 · Report post черный ящик очень прост: в каждом микрофонном канале стоит усилитель, детектор, фнч, пороговое устройство и драйвер лампочки. заиграли на инструменте, и лампочка зажглась. С партитурой чуть сложнее. Но зато с минусом проблема решается. Обучение традиционно. Ничего нового. Вы проясните про черный ящик, который будет это требовать... Quote Ответить с цитированием Share this post Link to post Share on other sites
ViKo 0 Posted April 22, 2016 · Report post А. Подключитесь прямо к каналам в пульте. :rolleyes: Б. С помощью БПФ разделите спектр на 1024 части, а дальше (фантазируйте) импровизируйте, по какому шаблону в какой канал свет подавать. Шкала частот, правда, должна быть логарифмической. Да и амплитуда тоже. Quote Ответить с цитированием Share this post Link to post Share on other sites
Мур 0 Posted April 22, 2016 · Report post черный ящик очень прост: в каждом микрофонном канале стоит усилитель, детектор, фнч, пороговое устройство и драйвер лампочки. заиграли на инструменте, и лампочка зажглась. С партитурой чуть сложнее. Да вы идеалист!... Тут нужно универсальное решение вылавливать из общего потока инструментов 6.... А. Подключитесь прямо к каналам в пульте. :rolleyes: Б. С помощью БПФ разделите спектр на 1024 части, а дальше (фантазируйте) импровизируйте, по какому шаблону в какой канал свет подавать. А. Потрясающая дешевизна... Б. Да хоть на 128.... Это частотное разделение, но фактора времени(долгосрочного фактора) тут нет... Это каша.... Да и ноль обучения. Quote Ответить с цитированием Share this post Link to post Share on other sites
FatRobot 0 Posted April 22, 2016 · Report post такой вопрос, чтобы было понятно на берегу: вы хотите решить задачу или понаблюдать за ходом дискуссии, касающейся ее решения? Да вы идеалист!... Quote Ответить с цитированием Share this post Link to post Share on other sites
Мур 0 Posted April 22, 2016 · Report post такой вопрос, чтобы было понятно на берегу: вы хотите решить задачу или понаблюдатьза ходом дискуссии, касающейся ее решения? Хочу понять переход во время... Статика не интересна для музыки. Мне нужен базис. Фундамент. Дальше я сам разберусь... Неужели коррелятор на 6 базовых инструментов - единственное решение? Не верю... Quote Ответить с цитированием Share this post Link to post Share on other sites
FatRobot 0 Posted April 22, 2016 · Report post - Находите описание мат. моделей для инструментов. вот например https://hal.inria.fr/hal-00739380/file/RR-8097.pdf; http://www.icacommission.org/Proceedings/I...01Rome/8_05.pdf - Оцениваете параметры модели для каждого инструмента по принятому сигналу - проверяете валидность параметров каждой модели - если "да", то зажигаете соотв. лампочку Плёвое дело. Успехов. Хочу понять переход во время... Статика не интересна для музыки. Мне нужен базис. Фундамент. Дальше я сам разберусь... Quote Ответить с цитированием Share this post Link to post Share on other sites
Maverick_ 10 Posted April 22, 2016 · Report post - Находите описание мат. моделей для инструментов. вот например https://hal.inria.fr/hal-00739380/file/RR-8097.pdf; http://www.icacommission.org/Proceedings/I...01Rome/8_05.pdf - Находите параметры модели для каждого инструмента по принятому сигналу - проверяете валидность параметров моделей - если "да", то зажигаете лампочку Плёвое дело. Успехов. интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов? Мне кажется здесь попахивает "искусственным интеллектом" и его обучением, а "простым сравнением" здесь не обойтись... Например, игра рояли говорят отличается от игры на пианино... Хотя... я не музыкант... Когда играет оркестр то там я например уже могу не отличить какие играют инструменты (на слух) Quote Ответить с цитированием Share this post Link to post Share on other sites
Мур 0 Posted April 22, 2016 · Report post Любопытно... Спасибо. На сколько я помню эти модели строились давно. ТИИИЭР где -то от 1977года вот например http://electronix.ru/redirect.php?https://...ile/RR-8097.pdf Успехов. Не удается получить доступ к сайту.... (((( Мне кажется здесь попахивает "искусственным интеллектом" и его обучением... Совершенно верно. Я с самого начала об этом говорю... Quote Ответить с цитированием Share this post Link to post Share on other sites
FatRobot 0 Posted April 22, 2016 · Report post а вы попробуте придумать задачу, где бы такое устройство могло сгодиться. интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов? .. и обязательно cloud computing и big data. без этого сейчас даже елочная гирлянда не мигает. Мне кажется здесь попахивает "искусственным интеллектом" и его обучением... Quote Ответить с цитированием Share this post Link to post Share on other sites
Мур 0 Posted April 22, 2016 · Report post а вы попробуте придумать задачу, где бы такое устройство могло сгодиться. В моем первом топике указано - цвето- лазерная установка для проекции на экран. (Можно расширять до распределенных LED-пано) Живет своей жизнью(как обучили). Высока вероятность, что от выступления к выступлению видеоряд не воспроизводится (громкость, темп, настройка микшером разная...) В приципе, - можно упростить задачу(для начала) одними ударными, чтобы различалось бас-барабан, рабочий барабен, тарелки, хет, и дополнительные тон -барабаны... интересно в мире есть готовые устройства распознавания по игре музыкальных инструментов? Есть такое на базе PC. В основном как помощник при написании партитур... http://www.widisoft.com/russian/help/widi4...umdetection.htm http://www.mymusictools.com/rus/download/%...BD%D0%BE%D1%82/ Quote Ответить с цитированием Share this post Link to post Share on other sites
petrov 0 Posted April 22, 2016 · Report post Непонятно как распознавание связано с эффектным представлением. Другое дело, что Фурье плохо подходит, так как не все звуковые сигналы похожи на его базисные функции. Стоит посмотреть в сторону пакетных вейвлетов. http://www.mathworks.com/help/wavelet/ug/w...et-packets.html Quote Ответить с цитированием Share this post Link to post Share on other sites
