Основные научные труды Марковникова посвящены развитию теории химического строения. Полный обзор этой теории от Берцелиуса до Бутлерова он дал еще в своей магистерской диссертации Об изомерии органических соединений, экспериментальным материалом для которой послужили исследования изомерии жирных кислот на примере масляной кислоты, имеющей нормальное строение, и изомасляной кислоты. Получив и подробно исследовав строение других изомерных кислот, Марковников дал богатейший экспериментальный материал, подтверждающий правильность теории строения химических соединений, над которой в тот период усердно работал Бутлеров. В 1869 Марковников защитил докторскую диссертацию Материалы по вопросу о взаимном влиянии атомов в химических соединениях, где теория Бутлерова получила дальнейшее развитие. Теория строения устанавливала порядок соединения атомов в молекуле. Из нее следовало, что в сложных молекулах атомы не просто химически связаны, но и оказывают взаимное влияние друг на друга, что в свою очередь влияет на направление химических реакций и на порядок расположения атомов в новых молекулах, образовавшихся в результате этих реакций. Используя обширный экспериментальный материал, Марковников установил ряд закономерностей в реакциях замещения, присоединения и расщепления. Одна из таких закономерностей – известное правило Марковникова, определяющее порядок присоединения воды и галогеноводородов. Согласно правилу Марковникова, атом водорода присоединяется к более гидрогенизированному атому углерода, а гидроксил или атом галогена – к менее гидрогенизированному. Теория взаимного влияния атомов на только объясняла ход многих реакций, но и позволяла предсказывать их результат.

С начала 1880-х годов Марковников занимался изучением кавказской нефти, в которой открыл новый обширный класс соединений, названных им нафтенами. Выделил из нефти ароматические углеводороды и обнаружил их способность к образованию с углеводородами других классов неразделяемых перегонкой смесей, позднее названных азеотропными. Впервые изучил нафтилены, открыл превращение циклопарафинов в ароматические углеводороды при участии бромистого алюминия как катализатора; синтезировал многие нафтены и парафины с разветвленной цепью. Показал, что температура замерзания углеводорода характеризует степень его чистоты и однородности.

Большое значение имеют труды Марковникова по истории науки. Особенно это касается оценки роли А.М.Бутлерова в создании теории химического строения. По инициативе Марковникова был выпущен Ломоносовский сборник (1901), посвященный развитию химии в России, ему принадлежит большая работа по истории химии в Московском университете.

Исключительно плодотворной была педагогическая деятельность Марковникова. Когда он начал преподавать в Московском университете, считалось, что химия в Москве отсутствует. За короткое время ситуация изменилась: он переоборудовал старую, а затем построил новую химическую лабораторию, привлек многочисленных студентов, из которых впоследствии выросли многие ученые-химики с мировым именем.

Умер Марковников в Москве 11 февраля 1904.