[yes 5]

хотелось поговорить об этом :) если это скорее общение, чем FPGA - прошу перенести

что интересно, что ориентировано это для дешевых, маленьких плис (типа ICE40UltraPlus)

http://files.latticesemi.com/finalVids/Dirk_ObjectCounting.mp4

это видео для демонстрации.

https://www.latticesemi.com/sensAI

это собственно оно.

--------------------------

то есть я так понимаю, что предназначено для построения дешевых "интеллектуальных" датчиков: для обнаружения лиц, людей, распознавания отдельных слов и т.д.

дальше мои вопросы и как я это понял - прошу проверить, кто в теме

то есть вначале сеть тренируется в каком-то стандартном "фреймворке" типа Caffe или Tenzorflow (наверно структура сети, количество и типы слоев, и типы/разрядности данных сильно ограничены из-за микроскопических ресурсов ПЛИС ?) на всяческих CUDA-х и т.п. без ограничения выч. мощности. я сам не имею в этом опыта - пишу то, что прочитал.

после этого коэффициенты выгружаются в некий латтисовский free компилер ( http://www.latticesemi.com/Products/DesignSoftwareAndIP/AIML/NeuralNetworkCompiler который взаимодействует с прошитой платой - поддерживаются пока две демо платы, одна на ECP5, другая на ICE40 (?), то есть вопросов с обнаружением нету, наверно предполагается, что пользователь будет делать свои платы совместимыми. эти данные (наборы коэффициентов и т.п.) загружаются во внешнюю память SPI (?), наверно этот интерфейс должен быть через JTAG в ПЛИС (?) хотя в ICE40 JTAG нету - там как-то иначе (?)

прошивка для ПЛИС собирается в туле (даймонд/радиант) с применением некого IP (сколько оно стоит? есть ли какие-то бесплатные или ограниченные версии?) наверно это IP конфигурится в соответствии со структурой сети, для ECP5 побогаче, для ICE40 скромнее. ну и можно добавлять какие-то свои части (в ICE40 сомневаюсь)

---------------------------

я так понимаю, что это чем-то похоже на упоминавшийся на форуме kendryte k210 (его KPU)

главный вопрос - кто-нибудь применял это или хотя бы трогал руками? насколько это применимо, например, насколько хорошо распознает, то есть находит на картинке, те же лица (любимый, по-моему, пример этих бюджетных AI)?

вроде бы этот машин-лёнинг в последнее время немеряно продвинулся - хотелось бы иметь представление о нем...

 

 

 

[Kluwer 0]

А зачем вам это всё, да ещё крепко заточенное под "Латтайс"? Берёте любой подходящий тулбокс, коих тучи, для задания и обучения НС (да хоть тот же Матлабовский), задаёте кол-во слоёв и "нейронов", обучаете, получаете коэффициенты. Дальше слепить НС с любым кол-вом слоёв руками - как два пальца обсасать, лишь бы влезло по скорости и ёмкости. В чём проблема-то?

P.S. И, кстати, если у вас задача распознования лиц на изображении, то она гораздо эффективнее и проще решается без идиотских "нейронных сеточек". Например, тот же метод Виолы-Джонса.

Изменено 30 июля, 2019 пользователем Kluwer

[yes 5]

мне это интересно для удовлетворения любопытства, задачи связенные с моей проф. деятельностью нс не решить, по крайней мере, пока применения им не видно

почему заинтересовал латтис - во первых, очень маленькие ресурсы для вычислительного ядра, во вторых больше шансов, что это работает в реальности. ну и вообще - железо/IP кажутся проще, чем аналоги

но, очевидно, что я не в теме и любопытствую с нуля - то есть мне казалось, что это реализуется на всяческих CUDA или подобных ускорителях, требует памяти вычислительной мощности и т.д. поэтому удивило.

для меня более интересно детектирование, а не распознавание лиц - можно для DIY применить.

---------

понятно, что это нужно на модели в матлабе или в том же питоне (тензорфлоу ?) смотреть. но хотелось бы вначале посмотреть на результат, а потом разбираться. и предполагаю, что там не все просто - то есть основная идея, насколько я понял - применяя линейные и нелинейные преобразования, сжать массив до одной цифры, но наверняка полно частностей и нс с разными слоями обладают разными характеристиками - то есть разобраться с этим в свободный вечер вряд ли получится. но какие-то базовые "гайды" особенно если понятно и хорошо написаные, если порекомендуете, посмотрел бы...

 

[Edit2007 3]

сам недавно начал интересоваться.

вроде неплохо написано об устройстве НС (общие положения:нейроны, передаточные функции и принципы построения сети) в этом сборнике статей, для меня (который совсем с нуля этим делом интересуется) вполне прилично разжевано.

нейросети.zip