Крутил RCC менял приоритеты ASIB AMIB, а дело оказалось в настройке самого LTDC.
Я еще долго думал почему в мануале область выделяемую под видеопамять назвали буфером, ведь FIFO всего то 64 даблворда. (CFBLR - ширина * CFBLNR - высота)*bpp должно быть не меньше, можно больше. 640*480/1024=300 кБайт, можно например выделить в AXI sram. Даже при тактировании CPU1 от HSI (64mHz) без PLL все работает норм.