Перейти к содержанию
    

AI акселераторы, кто-то пользовал?

Всем доброго дня. 

Думаю про AI- акселератор, так, для развития кругозора попробовать. Кто-то знает доступные к покупке и документированные есть сейчас? Интересует производительность порядка 2-3 TOPS на числах int8. 

Вариант с драйверами линукса (это касательно документации), чтобы потом вытащить оттуда как его запускать, тоже рассматривается. 

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У xilinx есть ip dpu, ранние версии работали и на 20м цинке (zed board). Сейчас можно начать копать от сих https://xilinx.github.io/Vitis-AI/3.5/html/docs/workflow-system-integration#about-the-dpu-ip

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

20 минут назад, fguy сказал:

У xilinx есть ip dpu, ранние версии работали и на 20м цинке (zed board). Сейчас можно начать копать от сих https://xilinx.github.io/Vitis-AI/3.5/html/docs/workflow-system-integration#about-the-dpu-ip

Его я уже пробовал. Примерно год-полтора назад. Не понравилось как он вживляется в ПЛИС. Сначала надо свое железо собрать, оставить какие-то интерфейсы под DPU, потом кто-то из среды ставит сам туда DPU (не помню точно). Все это работает только под линуксом, никакого описания как им пользоваться в bare-mеtal нет (а мне надо именно так), плюс многие типы слоев не поддерживаются и при компиляции сети vitis AI ругается и вываливается с ошибкой, что такого слоя сделать не могу. Можно было бы и им пользоваться (сам бы сделал поддержку нужных слоев), но так и не нашел описания потрохов DPU. Если у кого есть описание, каким пользоваться (в смысле внутренних регистров, структуры и т.д.), поделитесь пожалуйста. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

1 час назад, alexPec сказал:

Не понравилось как он вживляется в ПЛИС. Сначала надо свое железо собрать, оставить какие-то интерфейсы под DPU, потом кто-то из среды ставит сам туда DPU (не помню точно).

Это если через витис сдк, а так же есть ядро для вивадо бд и рефдизайн.

Ядро хоть и бесплатное, но зашифровано. Расшифровать не проблема, но коментов там практически нуль, но и обфускация не сделана - т.ч. что то понять по именам можно если систем верилог знаете.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Здравствуйте,

Если для общего развития + интересует CNN accelerator + чтобы не много жрал, есть такое для PolarFire SoC :

https://github.com/Microchip-Vectorblox/VectorBlox-SDK

image.thumb.png.6c0ee62b10bb153de5ca9e1aa677f200.png

Обкатали сейчас V1000 в железе, у них в планах выйти на V4000 - там может и будет TOPs.

Если коротко - до DPU от Xilinx ему конечно далеко, но местами интересный и довольно простой интерфейс.

Дизайн для V250 на Yolov3 давал 16FPS.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Интересная информация, спасибо! Но все-таки хочется чего-то на уровне 2-4TOPS для более-менее интересных задач.  Что-то вроде Coral от google, и по производительности, и по потреблению хорош для моих задач. Но вот доки на него найти похоже нереально...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А что конкретно вам там нужно найти ?

Судя , например, по вот этому :

https://coral.ai/products/m2-accelerator-dual-edgetpu/

Они предоставляют всё нужное для работы..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

10 часов назад, Kuzmi4 сказал:

Они предоставляют всё нужное для работы..

Спасибо большое, Kuzmi4! Как-то мимо меня это прошло... Когда копался - этого еще не было. Исходники библиотек выложили, кое-какое описание работы утилит и т.д. Есть с чем покопаться. Посмотрим, все ли они открыли в исходниках.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

По теме "нейроночки и HW" (HDL & HLS) рекомендую посмотреть вот эту подборку 100+ репо (там есть как оптимизация конкретных блоков так и ускорители целиком):

https://github.com/deepware-ai

(саму ссылку нашёл тут https://t.me/hw_ml )

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Спасибо! Интересная подборка.

Но это все на HDL, а интересны именно самостоятельные акселераторы, отдельным чипом. У них показатели будут все равно выше ПЛИСовых ускорителей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Из потенциально интересных могу посоветовать такой:

https://hailo.ai/products/ai-accelerators/hailo-8-ai-accelerator/#hailo8-performance

https://hailo.ai/files/hailo-8-m-2-et-product-brief-en/

PyTorch и ONNX есть, FPS на "ResNet-50" тысячи (390 FPS/W), и т.д..

Правда у них всё закрыто, нужно регистрироваться, запросы отсылать и всё такое...

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

40 минут назад, Kuzmi4 сказал:

Из потенциально интересных могу посоветовать такой:

 

Классная штука! Даже на али продают. Покопаюсь, вроде написано на гитхабе есть проект RT софта. Только если нужно слать запросы - тут сразу тупик. Геолокация у меня "не западная"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

41 minutes ago, alexPec said:

Геолокация у меня "не западная"

.. бывает (С)

см. личку

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Присоединяйтесь к обсуждению

Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.

Гость
Ответить в этой теме...

×   Вставлено с форматированием.   Вставить как обычный текст

  Разрешено использовать не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отображать как обычную ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставлять изображения напрямую. Загружайте или вставляйте изображения по ссылке.

×
×
  • Создать...