Нужно использовать ОУ с более высоким входным сопротивлением и, конечно, применить резисторы Pull-Down.
Хотя мне кажется, если резисторов Pull-Down нет по схеме, то они являются частью ОУ. В данном случае, наверно, через сопротивление материала печатной платы или других конструкций монтажа напряжение с других элементов схемы попадает на вход ОУ. Нужна схема. (мне с данной ИМС работать не приходилось)