В 1963 группа реформистов во главе с Робертом Мугабе вышла из ЗАПУ и создала Африканский национальный союз Зимбабве (ЗАНУ). В 1964 родезийское правительство запретило все партии, опиравшиеся на поддержку коренного населения. Нкомо был арестован и находился в заключении до 1974. В 1976 он заключил соглашение с Мугабе о создании Патриотического фронта для координации военных действий против режима белого меньшинства.

В 1979 Нкомо и Мугабе приняли участие в конференции, которая положила конец войне и обеспечила проведение в 1980 выборов, в результате которых власть перешла к африканскому большинству. Нкомо энергично провел избирательную кампанию ЗАПУ, но его партии досталось 20 мест из 80, выделенных для африканцев в новом парламенте. Большинство мест завоевала партия Мугабе. Когда Мугабе занял пост премьер-министра в 1980, он предложил Нкомо на выбор любую должность в правительстве, и Нкомо занял пост министра внутренних дел. Вскоре в отношениях между двумя партиями возникла напряженность, и в 1982 Нкомо вынужден был уйти в отставку. В 1987 Мугабе и Нкомо договорились о слиянии партий, что формально произошло в 1989, и Нкомо стал вице-президентом. Умер Нкомо в Хараре 1 июля 1999.