Jump to content

    
Sign in to follow this  
yes

Lattice выложила некий sensAI для реализации всяческого распознавания / AI

Recommended Posts

хотелось поговорить об этом :) если это скорее общение, чем FPGA - прошу перенести

что интересно, что ориентировано это для дешевых, маленьких плис (типа ICE40UltraPlus)

http://files.latticesemi.com/finalVids/Dirk_ObjectCounting.mp4

это видео для демонстрации.

https://www.latticesemi.com/sensAI

это собственно оно.

--------------------------

то есть я так понимаю, что предназначено для построения дешевых "интеллектуальных" датчиков: для обнаружения лиц, людей, распознавания отдельных слов и т.д.

дальше мои вопросы и как я это понял - прошу проверить, кто в теме

то есть вначале сеть тренируется в каком-то стандартном "фреймворке" типа Caffe или Tenzorflow (наверно структура сети, количество и типы слоев, и типы/разрядности данных сильно ограничены из-за микроскопических ресурсов ПЛИС ?) на всяческих CUDA-х и т.п. без ограничения выч. мощности. я сам не имею в этом опыта - пишу то, что прочитал.

после этого коэффициенты выгружаются в некий латтисовский free компилер ( http://www.latticesemi.com/Products/DesignSoftwareAndIP/AIML/NeuralNetworkCompiler который взаимодействует с прошитой платой - поддерживаются пока две демо платы, одна на ECP5, другая на ICE40 (?), то есть вопросов с обнаружением нету, наверно предполагается, что пользователь будет делать свои платы совместимыми. эти данные (наборы коэффициентов и т.п.) загружаются во внешнюю память SPI (?), наверно этот интерфейс должен быть через JTAG в ПЛИС (?) хотя в ICE40 JTAG нету - там как-то иначе (?)

прошивка для ПЛИС собирается в туле (даймонд/радиант) с применением некого IP (сколько оно стоит? есть ли какие-то бесплатные или ограниченные версии?) наверно это IP конфигурится в соответствии со структурой сети, для ECP5 побогаче, для ICE40 скромнее. ну и можно добавлять какие-то свои части (в ICE40 сомневаюсь)

---------------------------

я так понимаю, что это чем-то похоже на упоминавшийся на форуме kendryte k210 (его KPU)

главный вопрос - кто-нибудь применял это или хотя бы трогал руками? насколько это применимо, например, насколько хорошо распознает, то есть находит на картинке, те же лица (любимый, по-моему, пример этих бюджетных AI)?

вроде бы этот машин-лёнинг в последнее время немеряно продвинулся - хотелось бы иметь представление о нем...

 

 

 

Share this post


Link to post
Share on other sites

А зачем вам это всё, да ещё крепко заточенное под "Латтайс"? Берёте любой подходящий тулбокс, коих тучи, для задания и обучения НС (да хоть тот же Матлабовский), задаёте кол-во слоёв и "нейронов", обучаете, получаете коэффициенты. Дальше слепить НС с любым кол-вом слоёв руками - как два пальца обсасать, лишь бы влезло по скорости и ёмкости. В чём проблема-то?

P.S. И, кстати, если у вас задача распознования лиц на изображении, то она гораздо эффективнее и проще решается без идиотских "нейронных сеточек". Например, тот же метод Виолы-Джонса.

Edited by Kluwer

Share this post


Link to post
Share on other sites

мне это интересно для удовлетворения любопытства, задачи связенные с моей проф. деятельностью нс не решить, по крайней мере, пока применения им не видно

почему заинтересовал латтис - во первых, очень маленькие ресурсы для вычислительного ядра, во вторых больше шансов, что это работает в реальности. ну и вообще - железо/IP кажутся проще, чем аналоги

но, очевидно, что я не в теме и любопытствую с нуля - то есть мне казалось, что это реализуется на всяческих CUDA или подобных ускорителях, требует памяти вычислительной мощности и т.д. поэтому удивило.

для меня более интересно детектирование, а не распознавание лиц - можно для DIY применить.

---------

понятно, что это нужно на модели в матлабе или в том же питоне (тензорфлоу ?) смотреть. но хотелось бы вначале посмотреть на результат, а потом разбираться. и предполагаю, что там не все просто - то есть основная идея, насколько я понял - применяя линейные и нелинейные преобразования, сжать массив до одной цифры, но наверняка полно частностей и нс с разными слоями обладают разными характеристиками - то есть разобраться с этим в свободный вечер вряд ли получится. но какие-то базовые "гайды" особенно если понятно и хорошо написаные, если порекомендуете, посмотрел бы...

 

Share this post


Link to post
Share on other sites

сам недавно начал интересоваться.

вроде неплохо написано об устройстве НС (общие положения:нейроны, передаточные функции и принципы построения сети) в этом сборнике статей, для меня (который совсем с нуля этим делом интересуется) вполне прилично разжевано.

нейросети.zip

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this