Способствовал созданию Молодежной лиги АНК. Был среди тех членов АНК, которые в конце 1940-х – начале 1950-х годов находились в оппозиции к правящей Национальной партии. Возглавил движение за ненасильственное сопротивление режиму апартеида. В 1953 был избран президентом Трансваальского отделения АНК. Был обвинен в государственной измене и заключен в тюрьму в 1956 (оправдан в 1961).

В 1960 Мандела стал лидером АНК. После бойни в Шарпевиле, запрета АНК и Панафриканского конгресса во главе с Робертом Собукве сформировал военную организацию АНК – Умконто ва сизве (Копье нации). В течение года ему удавалось избегать ареста, однако в середине 1962 он был заключен в тюрьму за подстрекательство к забастовкам. В 1964 Мандела и другие руководители Умконто были обвинены в заговоре с целью свержения власти.

Лидером движения сопротивления стала Винни Мандела (р.1936, в девичестве Номзамо Винифред Мадикизела). Однако в конце 1988 ее репутации был нанесен сильнейший удар, когда несколько ее телохранителей похитили и избили четырех черных юношей, одного из которых позже нашли мертвым. В 1991 Винни была приговорена к шести годам тюремного заключения (исполнение приговора было отсрочено). Супруги расстались в 1992 и впоследствии развелись. В 1988 Мандела женился на Граце Машел, вдове мозамбикского лидера Саморы Машела.