count_enable 0 14 сентября, 2016 Опубликовано 14 сентября, 2016 · Жалоба Решил исследовать сколько же бит достаточно для классических ИНС. После тренировки начал округлять веса по формуле W=round(W*2^i)/2^i, то есть с i-битной дробной частью. И был прямо говоря шокирован - на классических проблемах (MNIST, Breast cancer, Iris, SEMEION) падение точности было ничтожным даже если дойти до 2-3 бит! Даже больше, иногда сеть при загрублении весов показывала несколько лучший результат. Вот пример для Breast cancer. Сеть - перцептрон обученный scaled conjugate gradient, базовая точность 97.57% Test Accuracy for 11 bit: 97.57%. Test Accuracy for 10 bit: 97.57%. Test Accuracy for 9 bit: 97.57%. Test Accuracy for 8 bit: 97.57%. Test Accuracy for 7 bit: 97.57%. Test Accuracy for 6 bit: 97.42%. Test Accuracy for 5 bit: 97.42%. Test Accuracy for 4 bit: 98.00%. <---- !!!! Test Accuracy for 3 bit: 97.85%. Test Accuracy for 2 bit: 97.71%. Test Accuracy for 1 bit: 97.57%. Использовался matlab neural network toolbox. А вот самая большая из доступных мне сетей: 784х600х600х10 перцептрон с ReLU, обученный с дропаутом. Базовая точность 98.63% Test Accuracy for 18 bit: 98.62%. Test Accuracy for 17 bit: 98.62%. Test Accuracy for 16 bit: 98.62%. Test Accuracy for 15 bit: 98.62%. Test Accuracy for 14 bit: 98.62%. Test Accuracy for 13 bit: 98.62%. Test Accuracy for 12 bit: 98.62%. Test Accuracy for 11 bit: 98.61%. Test Accuracy for 10 bit: 98.63%. Test Accuracy for 9 bit: 98.63%. Test Accuracy for 8 bit: 98.60%. Test Accuracy for 7 bit: 98.64%. <---- !!!! Test Accuracy for 6 bit: 98.63%. Test Accuracy for 5 bit: 98.58%. Test Accuracy for 4 bit: 96.39%. Test Accuracy for 3 bit: 9.80%. Test Accuracy for 2 bit: 9.80%. Или мне попалось очень неприхотливое подмножество нейронок, или они действительно прекрасно работают с весьма загрубленными весами. Буду весьма благодарен если кто-то из практикующих ИНС протестирует загрубление на своих сетях. Интересует поведение на распознавании изображений и на обработке сигналов. Если веса можно загрублять это сулит значительное уменьшение используемой памяти. Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
Stanislav 0 24 сентября, 2016 Опубликовано 24 сентября, 2016 · Жалоба Решил исследовать сколько же бит достаточно для классических ИНС. .......... Ваше исследование, видимо, задаёт некое правило в количестве бит, достаточных для классических ИНС. Остаётся мелочь: что Вы подразумеваете под классическими ИНС? Что Вы вообще о них знаете? Что такое биты? Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
count_enable 0 24 сентября, 2016 Опубликовано 24 сентября, 2016 · Жалоба что Вы подразумеваете под классическими ИНС? В этом случае - FFNN. Но как показали дальнейшие тесты, RBM тоже отлично работают с загрубленными весами до 5-6 бит дробной части. Что такое биты? Это инвентарий для игры в лапту, бейсбол и крикет. Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
petrov 7 24 сентября, 2016 Опубликовано 24 сентября, 2016 · Жалоба Или мне попалось очень неприхотливое подмножество нейронок, или они действительно прекрасно работают с весьма загрубленными весами. Буду весьма благодарен если кто-то из практикующих ИНС протестирует загрубление на своих сетях. Интересует поведение на распознавании изображений и на обработке сигналов. Если веса можно загрублять это сулит значительное уменьшение используемой памяти. А вы для объективности возьмите задачу из ЦОС решённую традиционным методом, например измерение частоты зашумлённого комплексного однотонального сигнала, собственно чем граф FFT плюс довески интерполяции максимума отличаются от нейронной сети, сравните с вашей сетью настроенной на эту же задачу, результат будет плачевный - хоть загрублённые, хоть нет, они вообще не работают в сравнении с нормально решённой задачей. Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
count_enable 0 25 сентября, 2016 Опубликовано 25 сентября, 2016 · Жалоба Извините, не совсем понял вашу мысль. Вы хотите показать что в области ЦОС аналитические методы работают лучше нейронок? Так с этим никто и не спорит, есть задачи вообще нерешаемые ИНС (пока). Но так же и есть огромное множество задач где нейронки сейчас являются лучшим решением по затратам и точности. Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
petrov 7 26 сентября, 2016 Опубликовано 26 сентября, 2016 · Жалоба Извините, не совсем понял вашу мысль. Вы хотите показать что в области ЦОС аналитические методы работают лучше нейронок? Так с этим никто и не спорит, есть задачи вообще нерешаемые ИНС (пока). Но так же и есть огромное множество задач где нейронки сейчас являются лучшим решением по затратам и точности. Непонятно как объективно говорить о работе сети не сравнивая с аналитическими методами? 94% это много или мало? Например в системе связи для правильной классификации на приёме переданного бита и 99.9999 мало, при этом на алгоритм приёма тоже можно смотреть как на какую-то сеть, получается 94% - ничего с любой разрядностью. Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
count_enable 0 26 сентября, 2016 Опубликовано 26 сентября, 2016 · Жалоба Непонятно как объективно говорить о работе сети не сравнивая с аналитическими методами? 94% это много или мало? Например в системе связи для правильной классификации на приёме переданного бита и 99.9999 мало, при этом на алгоритм приёма тоже можно смотреть как на какую-то сеть, получается 94% - ничего с любой разрядностью. Возьмём приснопямятный MNIST- точность человека составляет что-то порядка 99.5%. Лучшие из нейронок показывают 99.98%. Сможете создать аналитический решатель с лучшей точностью? Это будет фурор на любом симпозиуме по распознаванию образов. В диагностике рака ИНС диагностируют лучше чем квалифицированный врач (по общей статистике). Автоматическое распознавание речи, навигация, предсказание временных рядов и ещё тысяча и одна нечёткая проблема, для которой нет и не может быть формального алгоритма. Но тема не о общей ценности ИНС как таковых, а о конкретном феномене нечувствительности ИНС к загрубленным весам. Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
petrov 7 26 сентября, 2016 Опубликовано 26 сентября, 2016 · Жалоба Сможете создать аналитический решатель с лучшей точностью? А зачем ждать, есть аналитически решённые задачи, вот и сравнивайте, а так на профанацию смахивает, дуболомные вычислительные мощности и магия. Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
count_enable 0 26 сентября, 2016 Опубликовано 26 сентября, 2016 · Жалоба Тёплое с мягким сравнивать? Есть очень распространённая задача по распознаванию образов. Метрика понятна: процент корректно распознанных образов. Так получилось, что в этой области ИНС показывают лучшие результаты - на практических примерах, каждый день, в миллионах мест. Принося реальные и весьма большие деньги. При чём здесь аналитические алгоритмы для совсем других задач? Как вы сравните распознавание лиц на фейсбуке с БПФ? Или может появилось аналитическое решение игры в шахматы? Я совершенно не понимаю о чём речь. Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться