La pareja tuvo cuatro hijos: Sofía, Gisela, María Valeria y Rodolfo, quien debería heredar el mando del Imperio, pero desgraciadamente, el destino le tenía preparados otros planes.

Rodolfo tuvo un romance con una plebeya, la familia imperial no lo aceptó y lo presionaron para abandonarla. Desesperado, él se suicidó en 1889. Debido a que las mujeres no podían reinar, Francisco Fernando, sobrino del emperador, se convirtió en el nuevo sucesor al trono.

En 1898 en un viaje a Ginebra, un terrorista italiano asesinó a Sissi de una puñalada en el corazón.

Y en 1914, Francisco Fernando y su esposa Sofía, fueron asesinados en Sarajevo, lo que desencadenó la I Guerra Mundial

La vida familiar de Francisco José fue muy amarga. Perdió violentamente a su hijo, a su esposa y a su sobrino sucesor del trono. Tuvo tres hermanos; Maximiliano, nombrado emperador de México, fue fusilado por las fuerzas republicanas mexicanas. Carlos Luís, murió de tifus y Luís Víctor fue exiliado por tener relaciones homosexuales con un menor en un baño público

La muerte de su esposa, sumió a Francisco José en la tristeza hasta el resto de sus días.Murió en paz y serenidad en medio de la Gran Guerra, en 1916

Su sucesión recayó en su sobrino-nieto: Carlos I de Austria-Hungría, hijo de su sobrino Otto. coronado en 1916 a la muerte de su tío. En 1918 se disolvió el Imperio Austro-Hungaro, y el emperador tuvo que huir. Este fue el último monarca Habsburgo.

Hoy en día, los visitantes de Schönbrunn, admiran sus tesoros recordando a la bella Sissi, emperatriz de Austria y reina de Hungría, cuando Viena era la capital más elegante de Europa.