реклама на сайте
подробности

 
 
11 страниц V  < 1 2 3 4 > »   
Reply to this topicStart new topic
> Принять и ПАРАЛЛЕЛЬНО распарсить поток 10Гбит/с. Как решаются такие задачи?
Студент заборстр...
сообщение Dec 24 2017, 14:15
Сообщение #16


Местный
***

Группа: Участник
Сообщений: 317
Регистрация: 16-09-17
Пользователь №: 99 334



Цитата(krux @ Dec 24 2017, 06:30) *
если потери не сильно критичны, то даже DPDK с 10 Гбитами справится, без необходимости изучения ПЛИС.

Во блин wacko.gif
Как я отстал от прогрессу.
Я думал что поток 10Гбит/с не сможет даже i7 в реалтайме "переварить".
И что это вообще очень сложная задача. Возможно не решаема так как я описал.
А оказывается сейчас с ней любой студент справится и даже DPDK (правда не знаю, что значит эта аббревиатура).
Ну если парсить 10Гигабитный поток в реалтайме в 1000 потоков - это рядовая задача, с которой даже студент справится, то смело буду закладывать такое решение в ТЗ beer.gif


Цитата(krux @ Dec 24 2017, 07:29) *
при проектировании в ПЛИС, нужно знать "сколько вешать в граммах", т.е. считать биты и такты.
ваша проблема в том, что вы рисуете 1000 одновременных обработчиков, без четкого понимания в их необходимости.
может, будет достаточно одного? или десяти? или ста? почему 1000? как считали и чем обосновываете необходимость?

Я уже говорил. Что есть 1000 ОДИНАКОВЫХ удаленных девайсов.
Поэтом алгоритм обработки данных, поступающих от них один и тот же.

krux
А по поводу всего остального .... Отвечу позже.
Мне нужно время, что "переварить" и осмыслить все что вы сказали.
Спасибо за большой и развёрнутый ответ.
Go to the top of the page
 
+Quote Post
krux
сообщение Dec 24 2017, 16:33
Сообщение #17


Профессионал
*****

Группа: Свой
Сообщений: 1 672
Регистрация: 2-07-12
Из: дефолт-сити
Пользователь №: 72 596



Цитата(Студент заборстроительного @ Dec 24 2017, 17:15) *
Во блин wacko.gif
Как я отстал от прогрессу.
Я думал что поток 10Гбит/с не сможет даже i7 в реалтайме "переварить".
И что это вообще очень сложная задача. Возможно не решаема так как я описал.
А оказывается сейчас с ней любой студент справится и даже DPDK (правда не знаю, что значит эта аббревиатура).

производительность DPDK на специфических задачах:
http://fast.dpdk.org/doc/perf/DPDK_16_11_I...ance_report.pdf
Go to the top of the page
 
+Quote Post
Студент заборстр...
сообщение Dec 27 2017, 18:44
Сообщение #18


Местный
***

Группа: Участник
Сообщений: 317
Регистрация: 16-09-17
Пользователь №: 99 334



Цитата(krux @ Dec 24 2017, 07:29) *
далее про память. в ПЛИС не надо ничего хранить, нужно всё обрабатывать "на лету". если по алгоритму обрабатывать "на лету" невозможно, и рисуется необходимость хранить - нужна внешняя память.

"На лету" обрабатывать - это значит за наносекунды закончить всю обработку?
Не. Не получится. На обработку где-то несколько тысяч тактов уйдет.

Цитата(krux @ Dec 24 2017, 07:29) *
доступ в память - всегда "бутылочное горлышко" с точки зрения пропускной способности.

Вы хотите сказать, что памяти, к которой ПАРАЛЛЕЛЬНО/ОДНОВРЕМЕННО могут обращаться 1000 узлов ПЛИС, не бывает? Ну т.е. невозможно, чтобы каждый схемный узел ПЛИС читал данные из своего дампа параллельно с 999-ю другими узлами, читающими из своих дампов?

Сообщение отредактировал Студент заборстроительного - Dec 27 2017, 18:45
Go to the top of the page
 
+Quote Post
RobFPGA
сообщение Dec 27 2017, 19:16
Сообщение #19


Профессионал
*****

Группа: Свой
Сообщений: 1 137
Регистрация: 23-12-04
Пользователь №: 1 643



Приветствую!

Цитата(Студент заборстроительного @ Dec 27 2017, 21:44) *
"На лету" обрабатывать - это значит за наносекунды закончить всю обработку?
Не. Не получится. На обработку где-то несколько тысяч тактов уйдет.

Вы хотите сказать, что памяти, к которой ПАРАЛЛЕЛЬНО/ОДНОВРЕМЕННО могут обращаться 1000 узлов ПЛИС, не бывает? Ну т.е. невозможно, чтобы каждый схемный узел ПЛИС читал данные из своего дампа параллельно с 999-ю другими узлами, читающими из своих дампов?

Да такое сделаеть что забор покрасить - берете 1000 FPGA к каждой цепляете свою DDR4/QDRII, 10G/100G роутите на каждую FPGA и вперед - считайте все в паралель. Делов то ...


Удачи! Rob.
Go to the top of the page
 
+Quote Post
Студент заборстр...
сообщение Dec 27 2017, 19:57
Сообщение #20


Местный
***

Группа: Участник
Сообщений: 317
Регистрация: 16-09-17
Пользователь №: 99 334



Цитата(RobFPGA @ Dec 27 2017, 22:16) *
Приветствую!


Да такое сделаеть что забор покрасить - берете 1000 FPGA к каждой цепляете свою DDR4/QDRII, 10G/100G роутите на каждую FPGA и вперед - считайте все в паралель. Делов то ...


Удачи! Rob.


Воблин wacko.gif

А мне чуть выше писали, что это реализовать любой студент может.
А по Вашему получается, что теоретически решить задачу теоретически вроде бы можно, но вот практически задача не имеет решения.

И кому мне верить? 1111493779.gif
Go to the top of the page
 
+Quote Post
RobFPGA
сообщение Dec 27 2017, 20:09
Сообщение #21


Профессионал
*****

Группа: Свой
Сообщений: 1 137
Регистрация: 23-12-04
Пользователь №: 1 643



Приветствую!

Цитата(Студент заборстроительного @ Dec 27 2017, 22:57) *
Воблин wacko.gif

А мне чуть выше писали, что это реализовать любой студент может.
А по Вашему получается, что теоретически решить задачу теоретически вроде бы можно, но вот практически задача не имеет решения.

И кому мне верить? 1111493779.gif

Никому, (мне можно ...) -=
Где я написал что задачу решить нельзя ? Как раз вполне ПРАКТИЧНОЕ и реализуемое решение в полном соответствии поставленной задаче! Да к тому же и легко масштабируемое - вдруг Вам 10000 устройств надо будет обслуживать?

Удачи! Rob.
Go to the top of the page
 
+Quote Post
Студент заборстр...
сообщение Dec 27 2017, 20:28
Сообщение #22


Местный
***

Группа: Участник
Сообщений: 317
Регистрация: 16-09-17
Пользователь №: 99 334



Мне говорили, что можно обойтись одной (ОДНОЙ, Карл) ПЛИСиной.
Просто прошить её так, чтобы внутри неё было 1000 узлов
Go to the top of the page
 
+Quote Post
RobFPGA
сообщение Dec 27 2017, 21:07
Сообщение #23


Профессионал
*****

Группа: Свой
Сообщений: 1 137
Регистрация: 23-12-04
Пользователь №: 1 643



Приветствую!

Цитата(Студент заборстроительного @ Dec 27 2017, 23:28) *
Мне говорили, что можно обойтись одной (ОДНОЙ, Карл) ПЛИСиной.
Просто прошить её так, чтобы внутри неё было 1000 узлов

Ааа... Ну если так то тогда Вам все ж придется как студенту, засесть за расчеты как выше советовал уважаемы krux. А может даже как прилежному студенту еще и доки по FPGA почитать wacko.gif . Тогда не придется беспокоится заранее о 1000 головой гидр.. RAM. Скукота...

Эх! а можно было такое ТЗ сваять - домашний аналог Amazon F1 !

Удачи! Rob.
Go to the top of the page
 
+Quote Post
TRILLER
сообщение Dec 27 2017, 22:05
Сообщение #24


Частый гость
**

Группа: Свой
Сообщений: 178
Регистрация: 17-02-09
Из: Санкт-Петербург
Пользователь №: 45 001



Цитата(RobFPGA @ Dec 28 2017, 00:07) *
Приветствую!


Ааа... Ну если так то тогда Вам все ж придется как студенту, засесть за расчеты как выше советовал уважаемы krux. А может даже как прилежному студенту еще и доки по FPGA почитать wacko.gif . Тогда не придется беспокоится заранее о 1000 головой гидр.. RAM. Скукота...

Эх! а можно было такое ТЗ сваять - домашний аналог Amazon F1 !

Удачи! Rob.

lol.gif
Go to the top of the page
 
+Quote Post
krux
сообщение Dec 28 2017, 04:11
Сообщение #25


Профессионал
*****

Группа: Свой
Сообщений: 1 672
Регистрация: 2-07-12
Из: дефолт-сити
Пользователь №: 72 596



Цитата(Студент заборстроительного @ Dec 27 2017, 21:44) *
"На лету" обрабатывать - это значит за наносекунды закончить всю обработку?
Не. Не получится. На обработку где-то несколько тысяч тактов уйдет.

здесь мне видится рассуждение программиста, у которого за один такт может выполняться только одна вычислительная операция.
для ПЛИС это тупиковый путь, и поэтому так не делают.
этот вычислительный алгоритм должен быть полностью перелопачен для того чтобы его можно было эффективно реализовать на ПЛИС.
Go to the top of the page
 
+Quote Post
Студент заборстр...
сообщение Dec 28 2017, 05:05
Сообщение #26


Местный
***

Группа: Участник
Сообщений: 317
Регистрация: 16-09-17
Пользователь №: 99 334



Цитата(RobFPGA @ Dec 28 2017, 00:07) *
Приветствую!


Ааа... Ну если так то тогда Вам все ж придется как студенту, засесть за расчеты как выше советовал уважаемы krux. А может даже как прилежному студенту еще и доки по FPGA почитать wacko.gif . Тогда не придется беспокоится заранее о 1000 головой гидр.. RAM. Скукота...

Эх! а можно было такое ТЗ сваять - домашний аналог Amazon F1 !

Удачи! Rob.

Ваш сарказм означает, что насчёт "любой студент сможет" и "можно обойтись одной ПЛИСиной" меня тупо обманули?
Вы мне просто скажите одно: можно ли на ПЛИС реализовать такую память, к которой можно было с одной стороны обращаться как к единому целому, а с другой как к 1000 независимых дампов памяти в 1000 потоков одновременно?

Если нет, то как на серверах обрабатываются потоки даже не 10Гбит/с, а в терабиты и более?
Как там паралеллят обработку принятых данных?

Сообщение отредактировал Студент заборстроительного - Dec 28 2017, 05:08
Go to the top of the page
 
+Quote Post
RobFPGA
сообщение Dec 28 2017, 06:38
Сообщение #27


Профессионал
*****

Группа: Свой
Сообщений: 1 137
Регистрация: 23-12-04
Пользователь №: 1 643



Приветствую!
Цитата(Студент заборстроительного @ Dec 28 2017, 08:05) *
Ваш сарказм означает, что насчёт "любой студент сможет" и "можно обойтись одной ПЛИСиной" меня тупо обманули?
Я бы сказал что тонко пошутили sm.gif
Цитата(Студент заборстроительного @ Dec 28 2017, 08:05) *
Вы мне просто скажите одно: можно ли на ПЛИС реализовать такую память, к которой можно было с одной стороны обращаться как к единому целому, а с другой как к 1000 независимых дампов памяти в 1000 потоков одновременно?
Можно!

Цитата(Студент заборстроительного @ Dec 28 2017, 08:05) *
Если нет, то как на серверах обрабатываются потоки даже не 10Гбит/с, а в терабиты и более?
Как там паралеллят обработку принятых данных?
Вы сами уже ответили "... паралеллят обработку принятых данных ..." и обычно сервер для "любого студента" выглядит как на картинке внизу - на таком запросто(тонкая шутка!) можно обрабатывать поток 4 x 10G Ethernet.
Успехов! Rob.

Go to the top of the page
 
+Quote Post
Lutovid
сообщение Dec 28 2017, 11:43
Сообщение #28


Частый гость
**

Группа: Свой
Сообщений: 98
Регистрация: 24-02-14
Из: Москва
Пользователь №: 80 661



Я на всякий случай добавлю, вдруг поможет - если одинаковые пакеты приходят и на них формируются "ответки" по одному алгоритму, то может можно и не параллелить - можно отвечать на фреймы, используя очередь, это если вдруг формирование "ответок" реализовано не в процессорном стеке а в железе. Я делал нечто похожее. Все зависит от сложности формирования этих самых "ответок"(точнее throughput этого алгоритма). А, ну собственно примерно это уже и советовал krux
Go to the top of the page
 
+Quote Post
Студент заборстр...
сообщение Dec 28 2017, 21:00
Сообщение #29


Местный
***

Группа: Участник
Сообщений: 317
Регистрация: 16-09-17
Пользователь №: 99 334



Цитата(Lutovid @ Dec 28 2017, 14:43) *
Я на всякий случай добавлю, вдруг поможет - если одинаковые пакеты приходят и на них формируются "ответки" по одному алгоритму, то может можно и не параллелить - можно отвечать на фреймы, используя очередь,

Не успеет.
Данные поступают со скоростью 10 Гбит/с, а обрабатываются (если обрабатывать в один поток) со скоростью 10 Мбит/сек
Go to the top of the page
 
+Quote Post
Flip-fl0p
сообщение Dec 28 2017, 21:33
Сообщение #30


В поисках себя...
****

Группа: Свой
Сообщений: 670
Регистрация: 11-06-13
Из: Санкт-Петербург
Пользователь №: 77 140



Цитата(Студент заборстроительного @ Dec 29 2017, 00:00) *
Не успеет.
Данные поступают со скоростью 10 Гбит/с, а обрабатываются (если обрабатывать в один поток) со скоростью 10 Мбит/сек

Я чего-то не понимаю, но откуда Вы взяли 1000 потоков ? Данные то приходят последовательно.... Не думаю, что одновременно данные приходят сразу от 1000 устройств. А раз данные приходят последовательно, то почему бы их так-же последовательно не обрабатывать ?
Расписали бы примерную блок схему проекта. И как замешаны данные в потоке.
Да и отдавать данные Вы сможете так-же последовательно....

Сообщение отредактировал Flip-fl0p - Dec 28 2017, 21:34
Go to the top of the page
 
+Quote Post

11 страниц V  < 1 2 3 4 > » 
Reply to this topicStart new topic
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0

 


RSS Текстовая версия Сейчас: 23rd July 2018 - 13:15
Рейтинг@Mail.ru


Страница сгенерированна за 0.0094 секунд с 7
ELECTRONIX ©2004-2016