Смерть отца в 1896 сделала его наследником трона, так как единственный сын императора кронпринц Рудольф в 1889 покончил жизнь самоубийством. После этого в жизни Франца Фердинанда произошло важное событие: он страстно влюбился в графиню Софию Хотек. Она принадлежала к верхушке чешской аристократии, но не была «равной по рождению», т.е. особой королевской крови, по семейному праву Габсбургов. Несмотря на все препятствия, Франц Фердинанд женился на ней 1 июля 1900, согласившись с тем, что дети от их брака будут лишены прав наследования. Пренебрежение двора к его жене (которой был присвоен титул герцогини Гогенберг) в дальнейшем крайне раздражало Франца Фердинанда.

Престарелый император поручил ему исполнение некоторых военных обязанностей. В 1898 Франц Фердинанд был назначен заместителем главнокомандующего армией; время от времени император направлял его с представительскими миссиями за рубеж. Франц Фердинанд проводил большую часть времени в своих поместьях в различных частях страны, занимаясь разведением садов и особенно охотой. Он образовал собственную «канцелярию» в своей венской резиденции – Бельведерском дворце, где собрал вокруг себя советников – графа Чернина, фельдмаршала Конрада фон Гётцендорфа и других. Было известно, что он замышлял радикальные реформы. Прежде всего эрцгерцог намеревался подорвать мощь венгерской аристократии, которую он ненавидел. Однако его представления о том, чем должна быть заменена дуалистическая система, с течением времени изменялись. Одной из возможностей было решение в духе триализма, т.е. создание третьего, юго-славянского государственного образования. В другой период времени Франц Фердинанд допускал превращение монархии в федерацию из многих частей. Он поддерживал тесные отношения с лидерами немадьярских народов в Венгрии. Слухи о его планах вызвали ревность и подозрение у сербских националистов, и во время его путешествия в Боснию Франц Фердинанд был убит вместе с женой в Сараево 28 июня 1914. Это преступление послужило непосредственном поводом к развязыванию Первой мировой войны.