Попроьуйте -Ofast -flto... Библиотеку перекомилитровать с теми же флагами.
Вообще если в основном векторные рисунки - значит с негодным процессором пытаетесь. Без векторного сопроцессора хорошо заполненные прямоугольники получаются и немного векторонй графики поверх. На видео - поямоугольники заполняются и копируются MDMA, текст - по 8 пикселей memcpy. Кстати, если внешшняя память 16 бит имеет смысл применит RGB565.