Оставлю решение проблемы здесь, вдруг кому пригодиться.
Проблема оказаласть в том, что прерывание контроллера генерировалить по фронту, а petalinux был уверен, что по уровню.
После правильной настройки petalinux все заработало нормально. Короче внимательнее надо смотреть на
cat /proc/interrupts