Hart lahir di Kilmarnock, Skotlandia, dan dibawa ke Amerika bersama keluarganya di masa mudanya. Kakak laki-lakinya, William Hart, juga seorang seniman Sekolah Sungai Hudson, begitu pula adik perempuannya Julie Hart Beers dan dua putrinya, keduanya pelukis figur, Letitia Bonnet Hart (1867 - September 1953) dan Mary Theresa Hart (1872–1942).
Di Albany, New York dia berlatih dengan pembuat tanda dan kereta—mungkin majikan yang sama yang telah mengambil saudaranya di awal kariernya. James kemudian kembali ke Eropa untuk pelatihan artistik yang serius, belajar di Munich dan sebagai murid Friedrich Wilhelm Schirmer di Kunstademie Düsseldorf. Dia dikaitkan dengan Akademi lukisan Düsseldorf.[1][2]
Galeri
A Stream in the Adirondacks (1859), oil on canvas, 21.125 x 35.25 inch.; collection of Walters Art Museum
