La historia de esta frontera empieza al final de la Primera Guerra Mundial en 1918, cuando se independizó la república de Checoslovaquia (que unía entonces la República Checa y Eslovaquia), ambas antiguas posesiones del Imperio austrohúngaro. La mayor parte de la frontera coincidía con los límites del antiguo reino de Bohemia y Moravia, y en tres lugares se realizaron pequeños ajustamientos a favor de Checoslovaquia, motivados principalmente por argumentos económicos (Valticko, Vitorazsko, Dyjský trojúhelník). Sin embargo, la frontera étnica real iba más al norte, puesto que al sur de Bohemia y Moravia vivía una gran comunidad alemana (Sudetenland), que contra su voluntad fueron incluidos en Checoslovaquia.[2] Entre 1938 y 1939 tanto Austria como la República Checa fueron anexionadas al Tercer Reich, mientras que Eslovaquia se trasformó en un estado satélite independiente.
Después de la Segunda Guerra Mundial se restableció la antigua frontera entre Austria y la República Socialista de Checoslovaquia, entonces miembro del Pacto de Varsovia y aliada de la Unión Soviética. Después de la revolución de Terciopelo de 1990 y la separación de las repúblicas checa y eslovaca el 1993, la frontera actual solo lo es de la República Checa.