El dúo Erb-Ivogün fue muy exitoso en el Festival Zúrich y otros teatros, llevándolos a Estados Unidos entre 1920 y 1924.
Al regreso a Alemania encontró el caos político y económico, Bruno Walter había dejado Múnich por Berlín en 1922 y no congeniaba con su sucesor, Hans Knappertsbusch.
En gira en 1926 con Ivogün y su acompañante Michael Raucheisen, casi se ahoga nadando en el Starnbergersee, salvado por Maria, nunca se recuperó completamente. En junio de 1930 hizo su última aparición en ópera como Florestán en Fidelio en la ópera de Berlín-Charlottenburg Oper bajo Wilhelm Furtwängler.
Un año después la pareja se divorció y ella se casó con Michael Raucheisen. No obstante, siguió cantando el Evangelista por el mundo hasta avanzada edad.
En 1933 fue patrocinador del movimiento nazi que lo nombró profesor en 1938, después de 1945 fue severamente cuestionado. En su Doktor Faustus, Thomas Mann hace alusión a Erb.
Dejó un importante legado de grabaciones como Liederista, grabaciones entre 1930-40, su último disco data de 1951 a los 74 años de edad, previamente había participado en la grabación de La luna de Carl Orff.
Toda su fortuna fue donada por el artista a su ciudad natal. Hasta el día de hoy, los jóvenes músicos son patrocinados por Karl-Erb-Stiftung y en Ravensburg, el anillo Karl Erb recuerda al gran hijo de la ciudad.[3]