Думаю что то не так.
#ifdef ATMEGA88_USED
#pragma vector=USART_RX_vect
#endif
Получитьса
#ifdef ATMEGA88_USED
ISR(USART_RX)
#endif
Ребята не смотрите на это дело через плечо. Можно сказать в форумах совсем нет инфо про этот протокол. Хоть здесь пусть будет одна тема, где можно помощь найти. Не верю, что здесь нету ни одного, который работает с этим протоколом. Хоть в личку напишите, если здесь нехочется делиться информацией...