Nacido en el pueblo fronterizo de Ararat, obtuvo el título de educación física por el Instituto de Cultura Física de Ereván en 1979. Durante un tiempo estuvo trabajando como profesor de educación física en su ciudad, y después fue secretario del Komsomol en la Fábrica de Cemento de Ararat hasta 1986.[2] Su habilidad como escritor le llevó a trabajar durante tres años en distintas revistas hasta 1989.[2]
Se dio a conocer a finales de los años 1980 como uno de los líderes del movimiento civil que defendía la unión de Armenia y el óblast de Alto Karabaj, y formó parte de las milicias que combatieron en las primeras ofensivas contra las fuerzas azeríes.[2] En 1991 fue nombrado ministro de Defensa bajo la presidencia de Levon Ter-Petrosián, donde asumió la dirección de las tropas armenias en la Guerra del Alto Karabaj y la consolidación de las actuales Fuerzas Armadas de Armenia. Aunque dejó el cargo en octubre de 1992, se mantuvo como consejero presidencial en todo lo relativo al conflicto hasta su final en 1994.[3]
Sargsián asumió el ministerio de Defensa en 1995 y se convirtió en la figura política más influyente de las Fuerzas Armadas, dentro de un grupo formado por veteranos de guerra que pretendía consolidar su poder.[1] En un primer momento defendió la reelección de Ter-Petrosián, pero en 1998 forzó su dimisión para que no se firmara un acuerdo internacional de paz sobre el Alto Karabaj.[4][5] Después de propiciar el ascenso a la presidencia de Robert Kocharián, con el que también tuvo notables desencuentros por el mismo asunto,[6] formó una coalición entre el Partido Republicano y el Partido Popular, encabezado por el excomunista Karen Demirchián, para participar en las elecciones parlamentarias de mayo de 1999.[3]
La lista de Sargsián obtuvo mayoría absoluta y él fue nombrado primer ministro el 11 de junio de 1999, obteniendo el control de facto sobre el poder legislativo y la cúpula militar.[3][6] Cuatro meses después, el 27 de octubre de 1999, se produjo un atentado terrorista contra la Asamblea Nacional, cuyas causas aún no han sido esclarecidas,[7] en el que fallecieron ocho personas, entre ellos el primer ministro y Demirchián como presidente de la cámara.[4][5][8] Fue sucedido en el cargo por Aram Sargsián, su hermano menor.[9]