Er ist ein österreichischer Psychiater, Neurologe und Kinderneuropsychiater und war viele Jahre Primarius am Neurologischen Zentrum Rosenhügel.
Seine Lehrtätigkeit übt Ernst Berger an der Medizinischen Universität Wien (Kinder- und Jugendpsychiatrie) sowie der Donau-Universität Krems aus.
2012 wurde Ernst Berger von der Volksanwaltschaft zum Leiter einer der Kommissionen für Menschenrechte bestellt.