61年にアフリカ民族会議(ANC)の地下武装組織「ウムコント・ウェ・シズウェ(Umkhonto we Sizwe、民族の槍)」の最高司令官となり、翌62年にはアルジェリアとエチオピアで軍事訓練を受けた。だが、64年に逮捕・起訴され、終身刑を言い渡された。このとき裁判でマンデラ氏が行った演説は、反アパルトヘイト運動のマニフェスト(宣言)となった。
国際社会が南アフリカに対し経済制裁で圧力を強める中、89年に強硬派のP・W・ボタ(P.W. Botha)大統領が辞任し、融和的なフレデリク・デクラーク(Frederik de Klerk)大統領が就任。90年2月11日、マンデラ氏は釈放された。93年、マンデラ氏とデクラーク氏はノーベル平和賞を共同受賞した。