В числителе формулы (3.32) пропущен квадрат частоты выборки Fs (см.
Single tone parameter estimation from discrete-time observations
D. Rife; R. Boorstyn
IEEE Transactions on Information Theory
Year: 1974, Volume: 20, Issue: 5
Pages: 591 - 598, DOI: 10.1109/TIT.1974.1055282 формула (46)).
Возможно там, где вы взяли формулу подразумевалось Fs=1.
Да и с отношением сигнал/шум надо работать аккуратно - вывод проделан для комплексного сигнала.