JTAG - непосредственно к ногам контроллера, подтяжки к VCC (на время программирования) - согласно приведенной схеме, на пинах, относящихся к JTAG. Собственно, в приведенном фрагменте ДШ все разжевано...
Резисторы я бы килоом по 4.7-10 поставил.
А почему именно UART? Я тут на досуге озадачивался цифровым управлением для детской железной дороги - мне идея оч понравилась. Воплотил, есличо. :) Там и про полярность можно не думать, кстати.
В аттаче -краткое описание электрической части стандарта NMRA DCC, для затравки.
S_91_2004_07.pdf
С цифровым удобнее, безусловно. Но и обычный пойдет - нужно-то только понять, в каком из стандартов работает пульт. А дальше по букварю всё (одну из ссылок я давал выше).
А есть уверенность, что Ваш пульт выдает именно RC5 ?
А так всё просто - осциллограф в левую руку и http://www.sbprojects.com/knowledge/ir/ir.htm в правую.
ISO-шник, сколько-то он в тестовом форуме провисит:
http://torrents.ru/forum/viewtopic.php?t=1284447
Даташиты, софт для разработки etc. По сути - почти копия сайта atmel.com
А первый байт - команда cli или ... ?
В инициализации что-то не продумано, лично мне так кааацца.
"В лоб" - загрузить в sph:spl значение ramend (при запрещенных прерываниях, разумеется).