Hermano más joven de John FitzGerald, IV conde de Desmond, James era tío del único hijo de Thomas, V conde de Desmond, a quien privó del condado y desposeyó al casarse por alguien por debajo de su estatus. El matrimonio entre un hombre de ascendencia Normanda y una mujer de sangre gaélica vulneraba los Estatutos de Kilkenny. James FitzGerald forzó el exilio de su sobrino a Francia donde murió en Rouen dos años más tarde.
A pesar de que no fue reconocido hasta 1422, fue nombrado senescal de Imokilly, Inchiquin, en 1420 y de la ciudad de Youghal, por James Butler, IV conde de Ormond. En 1423 fue hecho Condestable vitalicio de Limerick.