Rush se casó con Catherine Eliza Murray el 29 de agosto de 1809 y tuvieron diez hijos.
Después de ser admitido en la abogacía, Rush ganó fama nacional como orador y abogado exitoso. En 1811 fue nombrado fiscal general de Pensilvania. En noviembre de 1811, el presidente James Madison lo nombró auditor del Tesoro de los Estados Unidos.
Servicio en el gobierno federal
Como auditor del Tesoro, Rush sirvió como un consejero y amigo al presidente Madison durante la Guerra anglo-estadounidense de 1812. Estaba en favor de una guerra con Bretaña. En 1814 Madison ofreció a Rush la posibilidad de elegir entre el cargo de secretario del Tesoro y el de fiscal general, y Rush eligió este último. Rush sirvió como fiscal general desde 1814 hasta 1817. Porque el cargo era de medio tiempo, Rush también mantuvo su bufete y redactó una codificación de leyes estadounidenses.
Fue secretario del estado en funciones desde el inicio del término de James Monroe hasta la vuelta de John Quincy Adams de Europa. Durante este tiempo Rush concluyó la Convención Rush-Bagot, que desmilitarizó la frontera canadiense en los Grandes Lagos.
En octubre de 1817, Rush fue nombrado ministro en Bretaña para suceder a John Quincy Adams, quien había asumido el cargo de secretario de estado. Los británicos apreciaban su comportamiento "caballeroso", y permaneció en el cargo durante casi ocho años en los que negoció varios tratados importantes, incluyendo el Tratado de Londres de 1818.
Resultó sorprendentemente popular en Inglaterra, a pesar de su pasado antibritánico. En 1823, Rush negoció con Bretaña la propuesta de que los dos países emitieran una declaración conjunta contra la participación francesa en las rebeliones en las colonias españolas. Sin embargo, Bretaña no aceptó la exigencia estadounidense de repúblicas independientes en las Américas, resultando en la Doctrina Monroe.
Después de la elección de John Quincy Adams en 1825, Rush deseaba el cargo de Secretario de la Armada. Sin embargo, el presidente lo nombró secretario del Tesoro. Sirvió desde 7 de marzo de 1825 hasta 5 de marzo de 1829. Eliminó casi totalmente la deuda pública, y rindió a su sucesor un gran superávit.
En 1828 fue el candidato vicepresidencial con el presidente John Quincy Adam, pero fue derrotado. Después de salir del Departamento del Tesoro, las ciudades de Georgetown y Alexandria lo envió a Inglaterra y los Países Bajos para negociar un gran préstamo para las ciudades.
En 1836, el presidente Andrew Jackson lo mandó a Inglaterra como comisario para asegurar la herencia legada al gobierno por el británico James Smithson. El fondo de más de 500.000 de dólares sería usado para establecer el Instituto Smithsoniano en Washington D. C. Rush fue uno de los primeros rectores del instituto.
Después de permanecer poco tiempo con el Partido antimasónico, Rush se unió con el Partido demócrata en la década de 1830.
En 1847, el presidente James K. Polk lo nombró ministro en Francia. Cuando sus negociaciones fueron interrumpidas por el derrocamiento del rey Luis Felipe, fue uno de los primeros diplomáticos en reconocer la nueva Segunda república francesa. Permaneció en Francia hasta su retiro por la nueva administración whig en 1849, cuando volvió a los Estados Unidos para jubilarse enFiladelfia. Se murió allí el 30 de julio de 1859, y está enterrado en el cementerio Laurel Hill en Filadelfia. Rush fue el último miembro sobreviviente de los gabinetes de Madison, Monroe, y Adams.