[iiv 18]

7 hours ago, whale said:

А какая задача ставится перед сетью ?

у меня конкретно SLAM

[whale 1]

Вот например нужен нейроный регулятор, если вход >0 вкл 1 выход, если <0 второй, если =0 все вых отк,

берем с пороговой фу-ей 2 нейрона входных  и два выходных нерона, перекрестно соединяем выходы входных нейронов с входами выходных,

имеем 2 вх весовых коэфф + 4 коэфф между нейронами, задаем случайным образом вес коэф,

начинаем обучать - подаем на вход >0 и смотрим что на выходе, если правильно то ничего не меняем а вот если неправильый выход то как меняем вес коэфф ?

Просто добавляем всем по 1 или -1 или добавляем каждому весу по случайному  числу ? 

[xvr 12]

3 hours ago, whale said:

Просто добавляем всем по 1 или -1 или добавляем каждому весу по случайному  числу ?

Не просто добавляем. Собственно с изобретения алгоритма обучения и начался бум нейросетей. Сами они были известны очень давно, но обучать из не умели.

В общем смотри алгоритмы backpropagation - https://ru.wikipedia.org/wiki/Метод_обратного_распространения_ошибки

 

[iiv 18]

3 hours ago, whale said:

Вот например нужен нейроный регулятор, если вход >0 вкл 1 выход, если <0 второй, если =0 все вых отк,

я бы перед тем, как нейронки мучать, все-таки для такой задачи попробовал бы кластеризовать Ваши сигналы плюс их предисторию, каким-нибудь DBSCAN или OPTICS или еще чем аналогичным, ИМХО, и проще, и надежнее, и предсказуемее.

[whale 1]

3 hours ago, iiv said:

Ваши сигналы

Пока никаких сигналов нет, я пытаюсь понять как применить нейронные сети пока на примитивных примерах.

Изменено 24 апреля, 2023 пользователем whale

[Edit2007 3]

17 часов назад, whale сказал:

Пока никаких сигналов нет, я пытаюсь понять как применить нейронные сети пока на примитивных примерах.

Ну тогда посмотрите как решается с помощью НС оператор XOR. Это самый простой пример.Короткий С. Нейронные сети. Основные положения.pdf

[xvr 12]

On 4/24/2023 at 4:25 PM, whale said:

я пытаюсь понять как применить нейронные сети пока на примитивных примерах.

Так, для справки. Нейронные сети без обучения не работают, очевидно. А для обучения, даже самой простой сети, нужно много входных данных. Как минимум десятки тысяч сэмплов, а лучше сотни. Без таких объёмов сеть, с хотя бы минимальным качеством, не обучить.

 

[whale 1]

Just now, xvr said:

Без таких объёмов сеть

Вот у меня на яхте например есть автопилот, если я заведу все данные (угол руля, скорость, ускорение, курс, желаемый курс, качку,  реакцию руля итд) и рулить человеком, за лето обучится интересно ? Потом сам будет рулить ? Без всяких пид регуляторов?

Изменено 25 апреля, 2023 пользователем whale

[whale 1]

10 hours ago, Edit2007 said:

НС оператор XOR

Ах вот как они модифицируют веса, прибавляют входной сигнал умноженый на ошибку выхода, интересно )

Короче я так понял самое сложное подобрать алгоритм изменения весов чтобы сеть имела сходимость к результату и желательно побыстрее.

Хоть что то начинает проясняться.

Изменено 25 апреля, 2023 пользователем whale

[Edit2007 3]

Очень часто используют "Обратное распространение ошибки" ("Градиентный спуск") Суть в том, что определяется ошибка на выходе, затем пропорционально ошибке корректируются веса от предыдущего слоя, и т.д. до входного слоя.

Короткий С. Нейронные сети. Алгоритм обратного распространения.pdf

[whale 1]

Интересно если каждой точке экрана присвоить нейрон, цвет его будет зависеть от его выхода, соединить все нейроны по столбцам, задать случайные коэфф весов, слева будет вход, справа выход и задать на входе какой нить столбец с данным и запустить вычисления, что то явно будет )

[iiv 18]

3 hours ago, whale said:

что то явно будет )

ничО хорошего не будет, даже пива холодного (с). Чтобы что-то хорошо натренировать, надо иметь хорошую повторяемость, грубо говоря, если у вас мегапиксель нейронов, и с них имеется один единственный битовый отклик, то надо корень их миллиона тренировок. Вон, фейсбук, когда свой сегмент-эврисинг свой делал, так 11 миллионов картинок с 10 мекапикселей вогнал (а это 11 терабайт жпегов), а все только для того, чтобы 10 килопиксельтные текстуры распозновать.

 

Вот Ваша идея с яхтой и автопилотом, если каждый день полный борт ледей катать будете чтоб от радости хорошо визжали, может и нейронку натренируете, и, кстати, тут обычной сеткой можно попробовать, без всяких трансформеров, но это сугубо ИМХО, может без "внимания" и не натренироваться.

[whale 1]

Just now, iiv said:

ничО хорошего не будет, даже пива холодного

Я к тому что без тренировки, просто интересно посмотреть будет как идет сигнал через сеть в графическом виде на случайных весах при разных пороговых функциях к примеру.

Сделать выход аналоговый и завести на них цвета радуги, определенно должны получаться какие то  узоры хотя возможно получится просто цветовой шум с бегущим вертикальным столбцом, также можно сделать задержку сигнала на выходе из нерона в зависимости от входного сигнала и установить перекрестные связи между слоями.

Ну а потом можно вести какие нить алгоритмы обучения.

Изменено 26 апреля, 2023 пользователем whale

[iiv 18]

10 minutes ago, whale said:

Я к тому что без тренировки, просто интересно посмотреть будет как идет сигнал через сеть в графическом виде на случайных весах при разных пороговых функциях к примеру.

я пробовал примерно так, как Вы сейчас описали, у меня ничего не получилось. То есть узоров было много и они иногда были очень красивыми, но толку от них было мало, по узорам было сложно понять, что конкретно сеть освоила, а что - нет.

 

Более-менее катит визуализовать тренировку распознавания паттерна, тогда по крайней мере видно, что де вот - паттерн похож, значит и отклик такой, как надо.

[whale 1]

Just now, iiv said:

я пробовал примерно так

Мне больше для красоты ) Если еще завести выходы сети на входы случайным образов вообще цветомузыка получится. 

Изменено 26 апреля, 2023 пользователем whale