Se fundó en 1908 por la Asamblea General de Virginia como escuela normal y técnica para mujeres con el nombre de State Normal and Industrial School for Women'. En 1914 se cambió el nombre a State Normal School for Women at Harrisonburg y en 1924 a State Teachers College at Harrisonburg. En 1938 se decidió honrar la memoria del presidente James Madison adoptando la denominación de James Madison College, y en 1976 se convirtió en James Madison University. Desde 1946 se matriculan también estudiantes masculinos.