[Мур 1]

Приветствую, народ!

Когда-то искал в сети готовое решение функции активации для проб NN...  А тут вынужденная пауза в деятельности.  Хочу поделиться простым решением для фантазеров.

Может кому пригодится? Прилагаю бенч, чтобы вопросов меньше было...

SIGMOIDA.ZIP

[Мур 1]

Приветствую!  Как-то не солидно получилось...  

Ценность предыдущего варианта может быть интересна чисто как студенческая при освоении языка и симуляции. Разве что принять к сведению.  Там сжатие только в два раза...  А для NN это супер-важно!

По этому примеру сделал новый вариант (с той же латентностью и одиннадцатью кусочно-линейных фрагментов) со сжатием в 16 раз ( 12 разрядов на входе и 8 на выходе).  С вопросами в личку... Извините, запаролил по нужде.       

 

SIGMOIDyn.zip

[Мур 1]

..Наконец-то мной подано заявление на пенсию и получение ИНН, а также полис мед обслуживание!

В честь этого даю код пароля     2030601038.   Вперед фантазеры   NN   !!!!!

Отмечу, что благотворительности не дождался НИКАКОЙ...  Спасибо за науку!

По-русски надо жить!  Впроголодь...

[Мур 1]

Вижу  пассивный интерес к теме.  Только один человек скачал исходник...

Принял к сведению...   Смотрю уже из интереса к теме

[Vasil_Riabko 1]

30 minutes ago, Мур said:

Вижу  пассивный интерес к теме.  Только один человек скачал исходник...

Принял к сведению...   Смотрю уже из интереса к теме

Сочувствую.Неудачная релокация.

[quato_a 3]

предлагаю написать статью, в которой расписать принцип работы вашего блока, оценить точность и выложить тут 

https://fpga-systems.ru/publ/

 

там уже выгладывали подобные статьи, например

https://fpga-systems.ru/publ/raznoe/poznavatelnoe/vychislenie_dvoichnogo_logarifma_iteracionnym_metodom_na_plis/16-1-0-138

https://fpga-systems.ru/publ/raznoe/poznavatelnoe/potochnoe_vychislenie_dvoichnogo_logarifma/16-1-0-144

https://fpga-systems.ru/publ/xilinx/ide/primenenie_system_generator_dlja_modelirovanija_hdl_blokov_na_primere_sistemy_avtomaticheskoj_regulirovki_usilenija/35-1-0-133

 

[Мур 1]

1 hour ago, quato_a said:

предлагаю написать статью, в которой расписать принцип работы вашего блока, оценить точность и выложить тут 

....Тут скорее важна сама идея!  Настолько она проста...

Я не случайно в тексте писал "Рекомендую уточнить уровень аппроксимации по формуле...", чтобы можно было организовать аппроксимацию точнее (перфекционистам в радость!). Я это делал быстро и довольно грубо, но для чернового варианта вполне сгодится, когда сеть прототипа уже обучена и известны все коэффициенты и разрядности(тут у меня большое допущение) для переноса и сквозного прогона.

Итак,- тут важны 3 момента,-   1) сохранить наклон кривой y = 4*x в младших разрядах по оси Х (старшие будут участвовать с сатурации)  в районе максимальной крутизны, а все остальные фрагменты уже под сжатие должны браться с наклоном из ряда степени двойки. Благодаря этому я ухожу от умножений;

         2) основная трата ресурса ПЛИС на компарирование для построения диапазонов разбиения (под выбор наклона аппроксимирующего линейного фрагмента);

         3) сборка рабочего кода на выход производится мультиплексорами из 11 фрагментов линейных прямых с разной постоянной составляющей (это +сумматоры). Кроме нулевой области.

Я сверял со  значениями формулы сами отсчеты в симуляции. Погрешность допускал +\- 5 тиков в выходном диапазоне +\-  127 (кроме краёв, где уже наступило насыщение и отсчеты особо не интересны) . Самое ответственное место  нулевая область, которую я называю "зрачок нейрона".

И последнее, не маловажное... Можно построить процесс моделирования самой сети и обучения из расчета именно такой (не идеальной) функции активации, чтобы уйти от академизма в подходе ради экономии ресурса.  Ведь таких мест в дизайне по числу нейронов!    ...Тем более в самой природе характер нелинейности вряд-ли идеален.   Это должно работать!

А сэкономленные умножители как раз пригодятся во взвешивании по коэффициентам!

[Alex77 4]

я совсем не в теме - однако "какая связь между Нейронные сети и машинное обучение и вычислением синусов косинусов ?"

[Мур 1]

21 час назад, Alex77 сказал:

я совсем не в теме - однако "какая связь между Нейронные сети и машинное обучение и вычислением синусов косинусов ?"

Машинное обучение производит подбор весовых коэффициентов программной нейронной сети по DataSet..

Именно эти коэффициенты и сама архитектура есть исходные данные для перевода проблемно-ориентированного решения "в железо".

Где тут вычисление синусов\косинусов? Тут аппроксимация гиперболического тангенса как основа классической функции активации!

[makc 234]

Тема почищена. Продолжение приведёт к readonly на неделю каждому продолжившему развитие оффтопика.

[Мур 1]

On 2/19/2023 at 8:37 PM, Мур said:

 

 

SIGMOIDyn.zip 3.21 kB · 17 downloads

Ценность представляет этот вариант, а не первый!