Военная карьера Гарфилда окончилась осенью 1863, когда он был избран в палату представителей Конгресса. Член могущественных комитетов – бюджетного и по ассигнованиям, – он уступал по влиянию лишь Дж.Блейну, а когда тот был избран в Сенат в 1876, Гарфилд стал официальным лидером республиканцев в палате представителей. На протяжении всего пребывания в палате он неизменно голосовал в соответствии с линией своей партии, за исключением тех случаев, когда речь шла о тарифах. Оказался замешанным по крайней мере в двух скандалах. В ходе расследований по делу строительной компании «Креди мобилье» выяснилось, что Гарфилд принимал в дар акции этой фирмы. Было доказано, что он получал гонорары и от компании, которая пыталась получить контракты на мощение улиц в Вашингтоне. Эти факты не сказались на карьере Гарфилда, и в 1880 он был избран в Сенат. Однако вплоть до своего избрания президентом так ни разу в нем и не заседал.

Весной 1880 Гарфилд заявил свою кандидатуру на пост президента, но после оказанного на него давления со стороны политических кругов Огайо вышел из борьбы и возглавил на республиканском национальном съезде избирательную кампанию Дж.Шермана, ведущего республиканского политика Огайо. Соперниками Шермана в борьбе за номинацию стали Дж.Блейн и У.Грант, и Гарфилду не удалось обеспечить большинства голосов для своего кандидата. В 35-м туре голосования некоторые из поддерживавших Шермана делегатов перешли на сторону Гарфилда, и в очередном туре он был единогласно выдвинут кандидатом на пост президента. В ходе избирательной кампании партийная фракция Гранта – Конклинга, выступавшая за избрание Гранта на третий срок, воздерживалась от поддержки Гарфилда вплоть до личной встречи сенатора Р.Конклинга с Гарфилдом. По ее завершении нью-йоркский сенатор объявил, что Гарфилд обещал ему соблюсти справедливость в отношении его фракции при распределении должностей.

После завершившихся успехом выборов «столварты» («стойкие сторонники») Конклинга заявили, что их обходят при распределении постов в федеральном правительстве. Гарфилд также восстановил их против себя настойчивым требованием отставки Т.Брэйди, помощника министра почт, замешанного в мошенничестве, и отказом произвести немедленные назначения в аппарат нью-йоркской таможни. В знак протеста сенаторы Конклинг и Т.Платт подали в отставку. Партийная междоусобица завершилась трагедией. 2 июля 1881, через четыре месяца после инаугурации, в здании Вашингтонского железнодорожного вокзала на жизнь президента было совершено покушение. На протяжении трех месяцев Гарфилд находился в критическом состоянии и скончался 19 сентября 1881.