Philip Carteret participó como teniente en el viaje de John Byron en la nave de la HMS Dolphin, en la que entre junio de 1764 y mayo de 1766 completaron una circunnavegación del mundo, siendo la primera circunnavegación que empleó menos de 2 años.[1] Durante este viaje, tomaron posesión de las islas Malvinas por parte de Gran Bretaña, en 1765, basándose en descubrimientos anteriores. Al hacerlo casi fue causa de guerra entre Gran Bretaña y España, la conocida como Crisis de 1770, con ambos países armando flotillas para contestar la soberanía de las islas. En ese viaje Byron descubrió varias islas del archipiélago Tuamotu (descubrió las islas de la Decepción y las islas del Rey Jorge), dio su nombre a una de las islas Gilbert, y descubrió algunas islas de las Tokelau, y finalmente visitó Tinian en las islas Marianas del Norte.
Al año siguiente regresó a Jersey, como señor de Trinidad y tomó parte en la política de Jersey. Sin embargo, estaba en Londres el 5 de mayo de 1772, cuando se casó con María Raquel Silvestre (1741-1815), hija de un médico. Cuatro de sus cinco hijos sobrevivieron hasta edad adulta, incluyendo a:
el segundo hijo, Philip Carteret Silvester (1777-1828), que ingresó en la Marina como su padre y heredó una baronía de su tío materno, Sir John Silvester;
una hija, María Isabel (Yarmouth, 21 de septiembre de 1774-Yarmouth, 1851), que en 1818 se convirtió en la tercera esposa de William Symonds, inspector de la Royal Navy.
La salud de Carteret había quedado muy mermada por su viaje de exploración y recibió muy poca recompensa del Almirantazgo (a diferencia de John Byron y su tripulación, de la que había formado parte Carteret). No tenía los padrinos necesarias para la promoción naval en ese momento y esto, y sus quejas antes del viaje de las malas condiciones de navegación del HMS Swallow ' aseguraron que sus peticiones de un nuevo barco en 1769 cayesen en oídos sordos. Recibiendo media paga, hizo la petición de aumento de media paga que se daba a muchos oficiales, pero no a Carteret. Mientras tanto, en 1773, publicó un relato del viaje como parte de An Account of the Voyages undertaken by Byron, Wallis, Carteret and Cook [Un relato de los viajes realizados por Byron, Wallis, Carteret y Cook], pero en el que el editor del volumen, John Hawkesworth, hizo cambios por su cuenta y así Carteret produjo una versión suya (que, sin embargo, sólo fue publicado en 1965 por la Hakluyt Society).
Su nuevo barco, el HMS Endymion de 44 cañones, al fin llegó el 1 de agosto de 1779 y pese a los problemas en el Canal de la Mancha, aguas adentro frente a Senegal y en las islas de Sotavento (Cabo Verde) (en la que estuvo cerca ser asesinado en un huracán) llegó a las Indias Occidentales como mandaban sus instrucciones. A pesar de haber participado en 4 naves premiadas, fue retirado y la Endymion transferida a otro capitán. Todas sus peticiones para una nueva nave no tuvieron éxito y sufrió un derrame cerebral en 1792, retirándose a Southampton en 1794 con el grado de contralmirante. Allí murió dos años después y fue enterrado en las catacumbas de la Iglesia de Todos los Santos, en Southampton.