Carter – wbrew rosnącej niepopularności – ubiegał się o powtórny wybór wewnątrz 1980. Spotkał się z poważnym wyzwaniem do wnętrza łonie własnej partii rzuconym wskroś lidera liberalnego skrzydła partii oraz senatora Edwarda Kennedy'ego oraz gubernatora Kalifornii Jerry'ego Browna, pokonał toż oponentów oraz uzyskał nominację. Kandydatem na wiceprezydenta został jeszcze raz Mondale.
Rywalem Cartera z ramienia republikanów był dawny gubernator Kalifornii Ronald Reagan. Carter – co nie było zaskoczeniem – wybory przegrał. Reagan zwyciężył aż do wnętrza 44 stanach na ogólną liczbę 50. Carter uzyskał większość resztkami sił wewnątrz sześciu stanach również dystrykcie stołecznym, który jest okręgiem wydzielonym także dysponuje trzema miejscami wewnątrz Kolegium Elektorskim.
Carter był pierwszym prezydentem odkąd czasów Herberta Hoovera wewnątrz 1932 także pierwszym demokratą na tym urzędzie odkąd czasów Martina Van Burena do wnętrza 1840 któremu wyborcy odmówili zaufania na drugą kadencję. Ford zwyczajowo nie jest liczony, albowiem ubiegał się w środku roku 1976 o najwyższy wybór, natomiast urząd sprawował jak dotąd niecałe czwórka lata.
20 stycznia 1981 Carter opuścił Biały Dom również powrócił do Plains.