Сегодня потратил целый день и выяснил, что с кварцем все в порядке.
Проблема была в RESETe, при выключении питания очень на короткое время RC цепочка не всегда ресетит процессор, помог только супервизор причем когда междк ним и процессором стоит 10К резистор (без резистора тоже иногда не ресетит).