Haeften y su hermano mayor Hans Bernd von Haeften nacieron en Berlín como hijos del oficial de la armada Hans von Haeften, Presidente del Reichsarchiv. Estudió leyes y trabajó en la banca de Hamburgo hasta el inicio de la Segunda Guerra Mundial cuando se alistó en el ejército alemán.
En 1943, recuperándose de una herida sufrida en el frente oriental se unió a Claus von Stauffenberg como miembro de la Operación Valquiria. El 20 de julio acompañó a Stauffenberg a Rastenburg donde ubicaron la bomba en el búnker Wolfsschanze marchando a Berlín luego de la explosión sin confirmar la muerte de Hitler e iniciando el golpe de Estado que habría de fallar.