Перейти к содержанию
    

Точность весов в ИНС

Решил исследовать сколько же бит достаточно для классических ИНС. После тренировки начал округлять веса по формуле W=round(W*2^i)/2^i, то есть с i-битной дробной частью.

И был прямо говоря шокирован - на классических проблемах (MNIST, Breast cancer, Iris, SEMEION) падение точности было ничтожным даже если дойти до 2-3 бит! Даже больше, иногда сеть при загрублении весов показывала несколько лучший результат.

 

Вот пример для Breast cancer. Сеть - перцептрон обученный scaled conjugate gradient, базовая точность 97.57%

Test Accuracy for 11 bit: 97.57%.
Test Accuracy for 10 bit: 97.57%.
Test Accuracy for 9 bit: 97.57%.
Test Accuracy for 8 bit: 97.57%.
Test Accuracy for 7 bit: 97.57%.
Test Accuracy for 6 bit: 97.42%.
Test Accuracy for 5 bit: 97.42%.
Test Accuracy for 4 bit: 98.00%.   <---- !!!!
Test Accuracy for 3 bit: 97.85%.
Test Accuracy for 2 bit: 97.71%.
Test Accuracy for 1 bit: 97.57%.

Использовался matlab neural network toolbox.

 

А вот самая большая из доступных мне сетей: 784х600х600х10 перцептрон с ReLU, обученный с дропаутом. Базовая точность 98.63%

Test Accuracy for 18 bit: 98.62%.
Test Accuracy for 17 bit: 98.62%.
Test Accuracy for 16 bit: 98.62%.
Test Accuracy for 15 bit: 98.62%.
Test Accuracy for 14 bit: 98.62%.
Test Accuracy for 13 bit: 98.62%.
Test Accuracy for 12 bit: 98.62%.
Test Accuracy for 11 bit: 98.61%.
Test Accuracy for 10 bit: 98.63%.
Test Accuracy for 9 bit: 98.63%.
Test Accuracy for 8 bit: 98.60%.
Test Accuracy for 7 bit: 98.64%.    <---- !!!!
Test Accuracy for 6 bit: 98.63%.
Test Accuracy for 5 bit: 98.58%.
Test Accuracy for 4 bit: 96.39%.
Test Accuracy for 3 bit: 9.80%.
Test Accuracy for 2 bit: 9.80%.

 

Или мне попалось очень неприхотливое подмножество нейронок, или они действительно прекрасно работают с весьма загрубленными весами.

Буду весьма благодарен если кто-то из практикующих ИНС протестирует загрубление на своих сетях. Интересует поведение на распознавании изображений и на обработке сигналов. Если веса можно загрублять это сулит значительное уменьшение используемой памяти.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Решил исследовать сколько же бит достаточно для классических ИНС.

..........

Ваше исследование, видимо, задаёт некое правило в количестве бит, достаточных для классических ИНС.

Остаётся мелочь: что Вы подразумеваете под классическими ИНС?

Что Вы вообще о них знаете?

Что такое биты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

что Вы подразумеваете под классическими ИНС?
В этом случае - FFNN. Но как показали дальнейшие тесты, RBM тоже отлично работают с загрубленными весами до 5-6 бит дробной части.

Что такое биты?
Это инвентарий для игры в лапту, бейсбол и крикет.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Или мне попалось очень неприхотливое подмножество нейронок, или они действительно прекрасно работают с весьма загрубленными весами.

Буду весьма благодарен если кто-то из практикующих ИНС протестирует загрубление на своих сетях. Интересует поведение на распознавании изображений и на обработке сигналов. Если веса можно загрублять это сулит значительное уменьшение используемой памяти.

 

А вы для объективности возьмите задачу из ЦОС решённую традиционным методом, например измерение частоты зашумлённого комплексного однотонального сигнала, собственно чем граф FFT плюс довески интерполяции максимума отличаются от нейронной сети, сравните с вашей сетью настроенной на эту же задачу, результат будет плачевный - хоть загрублённые, хоть нет, они вообще не работают в сравнении с нормально решённой задачей.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Извините, не совсем понял вашу мысль. Вы хотите показать что в области ЦОС аналитические методы работают лучше нейронок? Так с этим никто и не спорит, есть задачи вообще нерешаемые ИНС (пока). Но так же и есть огромное множество задач где нейронки сейчас являются лучшим решением по затратам и точности.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Извините, не совсем понял вашу мысль. Вы хотите показать что в области ЦОС аналитические методы работают лучше нейронок? Так с этим никто и не спорит, есть задачи вообще нерешаемые ИНС (пока). Но так же и есть огромное множество задач где нейронки сейчас являются лучшим решением по затратам и точности.

 

Непонятно как объективно говорить о работе сети не сравнивая с аналитическими методами? 94% это много или мало? Например в системе связи для правильной классификации на приёме переданного бита и 99.9999 мало, при этом на алгоритм приёма тоже можно смотреть как на какую-то сеть, получается 94% - ничего с любой разрядностью.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Непонятно как объективно говорить о работе сети не сравнивая с аналитическими методами? 94% это много или мало? Например в системе связи для правильной классификации на приёме переданного бита и 99.9999 мало, при этом на алгоритм приёма тоже можно смотреть как на какую-то сеть, получается 94% - ничего с любой разрядностью.

Возьмём приснопямятный MNIST- точность человека составляет что-то порядка 99.5%. Лучшие из нейронок показывают 99.98%. Сможете создать аналитический решатель с лучшей точностью? Это будет фурор на любом симпозиуме по распознаванию образов.

В диагностике рака ИНС диагностируют лучше чем квалифицированный врач (по общей статистике). Автоматическое распознавание речи, навигация, предсказание временных рядов и ещё тысяча и одна нечёткая проблема, для которой нет и не может быть формального алгоритма. Но тема не о общей ценности ИНС как таковых, а о конкретном феномене нечувствительности ИНС к загрубленным весам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сможете создать аналитический решатель с лучшей точностью?

 

А зачем ждать, есть аналитически решённые задачи, вот и сравнивайте, а так на профанацию смахивает, дуболомные вычислительные мощности и магия.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Тёплое с мягким сравнивать?

Есть очень распространённая задача по распознаванию образов. Метрика понятна: процент корректно распознанных образов. Так получилось, что в этой области ИНС показывают лучшие результаты - на практических примерах, каждый день, в миллионах мест. Принося реальные и весьма большие деньги. При чём здесь аналитические алгоритмы для совсем других задач? Как вы сравните распознавание лиц на фейсбуке с БПФ? Или может появилось аналитическое решение игры в шахматы?

 

Я совершенно не понимаю о чём речь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Присоединяйтесь к обсуждению

Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.

Гость
Ответить в этой теме...

×   Вставлено с форматированием.   Вставить как обычный текст

  Разрешено использовать не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отображать как обычную ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставлять изображения напрямую. Загружайте или вставляйте изображения по ссылке.

×
×
  • Создать...