как Вы обеспечиваете "подставку" VREF? из схемы видно что никак!
а как вы делите постоянную составляющую от источника и пост. составляющую самого АЦП? опять же никак...
Внимательнее читайте даташит. Подать дифф. сигнал на входы - это ещё не всё, входы нужно ещё и сместить в определённую сторону и позаботиться о том, чтобы это смещение не повлияло на источник сигнала.