В 1828 Филмор познакомился с Т.Уидом, который убедил его присоединиться к антимасонскому движению. После избрания на следующий год в законодательное собрание штата Нью-Йорк он перешел вслед за Уидом в антиджексоновское движение и в 1832 был избран в палату представителей Конгресса. Оставался членом палаты с двухлетним перерывом до 1842, стал вигом фракции Г.Клея. После избрания У.Гаррисона президентом США в 1840 возглавил бюджетный комитет, разработавший закон о протекционистском тарифе 1842.

Потерпел поражение в попытке стать кандидатом на пост вице-президента и при поддержке фракции Клея был выдвинут в 1844 на пост губернатора штата Нью-Йорк. Проиграв на осенних выборах, Филмор вернулся к адвокатской практике, но спустя четыре года, в значительной степени с целью умиротворения фракции Клея, выступавшей против выдвижения в президенты З.Тейлора, был выдвинут кандидатом в вице-президенты от партии вигов. После победы на выборах председательствовал в Сенате на бурных дебатах о рабстве и судьбе территорий, приобретенных в результате мексиканской войны.

Филлмор придерживался умеренно антирабовладельческих взглядов, но считал, что проблему следует решать не силой, а с помощью компромисса. Став после смерти Тейлора 9 июля 1850 президентом, он сформировал новый кабинет министров, а в августе 1850 направил свое первое послание Конгрессу, поддержав основные положения предложенного Клеем плана достижения компромисса по вопросу о рабстве. В этом он разошелся с президентом Тейлором, который, хотя и был рабовладельцем из штата Луизиана, возражал против каких-либо уступок системе рабовладения. Смерть Тейлора и восхождение Филмора явились, таким образом, одними из основных причин принятия пяти конкретных мер, ставших составными частями Компромисса 1850. Филмор подписал все пять и добросовестно пытался провести их в жизнь. Его твердая позиция, в частности в вопросе о принятии закона о беглых рабах, была встречена в штыки аболиционистами и стоила ему поддержки значительной части северного крыла партии вигов. Когда в 1852 Клей умер, Филмор лишился поддержки внутри партии и потерпел поражение от генерала У.Скотта в борьбе за выдвижение на пост президента. Вдобавок многие из делегатов партии вигов на съезде добивались отмены Компромисса 1850. Окончательный текст политической платформы партии содержал лишь условное одобрение этого документа. В первоначальном варианте своего прощального послания Конгрессу Филмор предложил решить вопрос о рабстве, «отправив чернокожих обратно в Африку». Он покинул президентский пост, по-прежнему веря в такое решение, хотя по настоянию кабинета само предложение было исключено из президентского послания.

Филмор, объяснявший свое поражение в 1844 на выборах губернатора штата Нью-Йорк тем, что против него проголосовали избиратели, родившиеся за пределами США, стал после раскола партии вигов членом Американской партии (партии «незнаек»). Он был выдвинут этой политической группировкой в 1856 на пост президента, но занял на выборах третье место, уступив Дж.Бьюкенену и Дж.Фримонту. В последующие годы не принадлежал ни к одной из партий, но неизменно поддерживал идею переговоров и компромисса по вопросу о рабстве, что привело в конечном счете к поддержке им в 1864 кандидата демократов генерала Дж.Макклеллана против А.Линкольна. Умер Филмор в Буффало 8 марта 1874.