Ik had blijkbaar een fout in het schema gemaakt. De niet inverterende ingangen van de opamp moesten blijkbaar niet aan de massa verbonden worden maar aan 2,5V. Dat heb ik nu opgelost door het ic voetje op headers te solderen en daaraan een spanningsdeler te maken.
Nieuw schema: