реклама на сайте
подробности

 
 
2 страниц V   1 2 >  
Reply to this topicStart new topic
> Надо в ПЛИС сжать поток сырых данных с АЦП, зипом и раром отлично жмется
Koluchiy
сообщение Apr 18 2017, 13:46
Сообщение #1


Знающий
****

Группа: Свой
Сообщений: 915
Регистрация: 12-04-09
Из: Москва
Пользователь №: 47 543



Здравствуйте, уважаемые граждане.

Когда-нибудь будет плата с АЦП и Kintex-7.

В одном из вариантов реализации будет очень желательно прокидывать сырые данные из АЦП в ПК через гигабит езернет.
Файл принимаемых сырых данных с аналогичного изделия отлично жмется зипом и раром.

Хотелось бы попробовать поставить какой-нибудь готовый блок в Кинтекс, чтобы жал данные БЕЗ ПОТЕРЬ.
В связи с этим не будут ли любезны уважаемые гуру посоветовать какие-нибудь доступные готовые блоки архиваторов, которые можно было бы поставить в проект и посмотреть, что из этого получится.

Тему про радиоастрономов читал, но решил ее не поднимать, т.к. там размышления Великих о Великом.
А мне бы просто готовый(е) блок(и) в проект поставить, покидать туда данных и посмотреть, что из этого получится.

Соответственно, чтобы не распалять опять споры Великих о Великом, исходных данных не дам. Да и нет их у меня - плата в процессе производства.

Всем заранее спасибо за любые содержательные советы.
Go to the top of the page
 
+Quote Post
Lmx2315
сообщение Apr 18 2017, 14:04
Сообщение #2


отэц
*****

Группа: Свой
Сообщений: 1 456
Регистрация: 18-09-05
Из: Москва
Пользователь №: 8 684



Цитата(Koluchiy @ Apr 18 2017, 16:46) *
Тему про радиоастрономов читал, но решил ее не поднимать, т.к. там размышления Великих о Великом.
..
Всем заранее спасибо за любые содержательные советы.

а что это за тема - про радиоастрономов?


--------------------
"..не нравятся мои выборы? ..приходите в мой суд."
Узурпатор П.
Go to the top of the page
 
+Quote Post
Koluchiy
сообщение Apr 18 2017, 14:07
Сообщение #3


Знающий
****

Группа: Свой
Сообщений: 915
Регистрация: 12-04-09
Из: Москва
Пользователь №: 47 543



Там задавался аналогичный вопрос про архивацию сырых данных для радиоастрономии. Легко ищется поиском.
Go to the top of the page
 
+Quote Post
yes
сообщение Apr 18 2017, 14:10
Сообщение #4


Профессионал
*****

Группа: Свой
Сообщений: 1 911
Регистрация: 23-12-04
Пользователь №: 1 640



технически - засунуть процессор+память с зипом (zlib), раз им хорошо жмется

теоретически - арифметический кодер, с контекстом, например, номер бита в сэмпле
Go to the top of the page
 
+Quote Post
Koluchiy
сообщение Apr 18 2017, 14:12
Сообщение #5


Знающий
****

Группа: Свой
Сообщений: 915
Регистрация: 12-04-09
Из: Москва
Пользователь №: 47 543



Ах да, забыл. 200МГц АЦП sm.gif.
Процессор бы не хотелось...
Go to the top of the page
 
+Quote Post
krux
сообщение Apr 18 2017, 14:13
Сообщение #6


Профессионал
*****

Группа: Свой
Сообщений: 1 439
Регистрация: 2-07-12
Из: дефолт-сити
Пользователь №: 72 596



https://www.xilinx.com/products/intellectua...3.html#overview
https://opencores.org/project,lzrw1-compressor-core

т.е. для начала проверьте, как оно жмётся при помощи LZ77.
Go to the top of the page
 
+Quote Post
litv
сообщение Apr 19 2017, 06:05
Сообщение #7


Местный
***

Группа: Свой
Сообщений: 379
Регистрация: 6-10-04
Из: Воронеж
Пользователь №: 806



Что только не придумают люди чтобы не делать 10G или PCI express lol.gif
А что архиваторы имеют гарантированный процент сжатия для любых данных?
Go to the top of the page
 
+Quote Post
Golikov A.
сообщение Apr 19 2017, 06:43
Сообщение #8


Гуру
******

Группа: Свой
Сообщений: 4 081
Регистрация: 17-02-06
Пользователь №: 14 454



Цитата
А что архиваторы имеют гарантированный процент сжатия для любых данных?

для сильно коррелированных коими будут последовательные отчеты АЦП процент будет весьма хорошим.
Только любая задача сжатия, это поиск корреляции и ее устранение, то есть для нормального сжатия алгоритму нужен весь массив данных и тут без большой памяти и несколько проходной обработки не обойтись.
Что, естественно, удобнее делать на процессоре, потому без него это лучше и не затевать.

Другое дело если вы знаете распределение своих данных, тогда можно закодировать наиболее часто появляющиеся значение наименее коротким кодом, в таком случае по готовой таблице данные можно будет обрабатывать на лету. Это алгоритм Хаффмана, посмотрите. В вашем случае это просто таблица замены. Где входному числу ставиться в соответствие код, тем короче чем чаще появляется число. В оригинале таблица частоты появления строится по полному массиву данных, в вашем случае можно попробовать ее спрогнозировать заранее. Вероятность успеха я думаю процентов 40.
Go to the top of the page
 
+Quote Post
litv
сообщение Apr 19 2017, 06:56
Сообщение #9


Местный
***

Группа: Свой
Сообщений: 379
Регистрация: 6-10-04
Из: Воронеж
Пользователь №: 806



"Наша плата только для сильнокоррелированных данных дорогие пользователи" sm.gif
Go to the top of the page
 
+Quote Post
Golikov A.
сообщение Apr 19 2017, 07:23
Сообщение #10


Гуру
******

Группа: Свой
Сообщений: 4 081
Регистрация: 17-02-06
Пользователь №: 14 454



Данные с АЦП практически наверняка за счет фильтров будут сильно коррелированными.
Ну то есть даже если грубо брать 16 битный отсчет. Передавать его, а дальше передавать разность между текущим и предыдущим. Битность этой разности будет значительно меньше, потому что мгновенного изменения на АЦП ждать не стоит.

Можно расширить Н бит АЦП до Н+1. первый бит взять маркером, если он 0, то дальше Н бит с АЦП, если он 1, то дальше разность текущего и предыдущего, допустим размерности Н/2. Накладных расходов 1/Н, а в случае успеха почти в 2 раза зажатый поток.
Go to the top of the page
 
+Quote Post
AVR
сообщение Apr 19 2017, 09:12
Сообщение #11


фанат Linux'а
****

Группа: Свой
Сообщений: 956
Регистрация: 23-10-05
Из: SPB.RU
Пользователь №: 10 008



Цитата(Golikov A. @ Apr 19 2017, 10:23) *
Можно расширить Н бит АЦП до Н+1. первый бит взять маркером, если он 0, то дальше Н бит с АЦП, если он 1, то дальше разность текущего и предыдущего, допустим размерности Н/2. Накладных расходов 1/Н, а в случае успеха почти в 2 раза зажатый поток.

Сначала показалось очень красивым, однако далеко не все сигналы имеют относительно низкую полосу, чтобы хорошо жаться таким способом.


--------------------
Go to the top of the page
 
+Quote Post
Bad0512
сообщение Apr 19 2017, 09:32
Сообщение #12


Знающий
****

Группа: Свой
Сообщений: 779
Регистрация: 11-05-07
Из: Томск
Пользователь №: 27 650



Цитата(Koluchiy @ Apr 18 2017, 21:12) *
Ах да, забыл. 200МГц АЦП sm.gif.
Процессор бы не хотелось...

Прямо точно нужно все 100МГц спектра после АЦП иметь внизу? Обычный даунсемплинг хотя бы раза в 4 помог бы решить проблему. Ну понятно что это не бесплатно - полоса тоже в 4 раза Уже будет.
Go to the top of the page
 
+Quote Post
Golikov A.
сообщение Apr 19 2017, 09:40
Сообщение #13


Гуру
******

Группа: Свой
Сообщений: 4 081
Регистрация: 17-02-06
Пользователь №: 14 454



Цитата(AVR @ Apr 19 2017, 12:12) *
Сначала показалось очень красивым, однако далеко не все сигналы имеют относительно низкую полосу, чтобы хорошо жаться таким способом.

Между соседними точками на 200 МГц, будет достаточно малое изменение для достаточно широких полос) сколько в цифрах прям так прикинуть не могу.
Go to the top of the page
 
+Quote Post
x736C
сообщение Apr 19 2017, 10:07
Сообщение #14


Знающий
****

Группа: Участник
Сообщений: 865
Регистрация: 3-03-06
Пользователь №: 14 942



Цитата(Golikov A. @ Apr 19 2017, 10:23) *
Можно расширить Н бит АЦП до Н+1. первый бит взять маркером, если он 0, то дальше Н бит с АЦП, если он 1, то дальше разность текущего и предыдущего, допустим размерности Н/2. Накладных расходов 1/Н, а в случае успеха почти в 2 раза зажатый поток.
Изобретение велосипеда.

Перед Хаффманом можно использовать 1D DCT. Трудно представить что-то более эффективное.
Но, возможно, ТС хватит и дифференциальной ИКМ.
Go to the top of the page
 
+Quote Post
Lmx2315
сообщение Apr 19 2017, 10:19
Сообщение #15


отэц
*****

Группа: Свой
Сообщений: 1 456
Регистрация: 18-09-05
Из: Москва
Пользователь №: 8 684



Цитата(litv @ Apr 19 2017, 09:05) *
Что только не придумают люди чтобы не делать 10G или PCI express lol.gif

..а 10g реально поднять новичку?
(Если новичёк аврору xilinx-ксовую к примеру поднимал.)
Или там нужен особый опыт?


--------------------
"..не нравятся мои выборы? ..приходите в мой суд."
Узурпатор П.
Go to the top of the page
 
+Quote Post

2 страниц V   1 2 >
Reply to this topicStart new topic
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 


RSS Текстовая версия Сейчас: 1st May 2017 - 00:32
Рейтинг@Mail.ru


Страница сгенерированна за 0.01462 секунд с 7
ELECTRONIX ©2004-2016