В 1895, после неудачной попытки вступить в труппу Н.Соловцова, уезжает в Москву поступать в императорское театральное училище. Экзаменуется вместе с О.Книппер и М.Савицкой, в отличие от будущих актрис МХТ, поступает, но спустя год уходит из училища. В течение этого года (1895–1896) участвует в утренниках Малого театра, играет в выпускном спектакле училища Лес А.Островского (Милонов).

По возвращении в Одессу в 1896 поступает в труппу Н.Соловцова, которая выступает в Одессе и Киеве. Здесь Леонидов быстро занимает одно из ведущих мест; в первый сезон (1896–1997) играет роли поручика Чарусского (Старый закал А.Сумбатова), Мурзавецкого (Волки и овцы А.Островского), Молчалина (Горе от ума А.Грибоедова), Медведенко, а затем Треплева (Чайка А.Чехова), Вершинского (Дикарка А.Островского и Н.Соловьева), Хлестакова (Ревизор Н.Гоголя); в сезон 1897–1898 – Миловзорова (Без вины виноватые А.Островского), Боркина (Иванов А.Чехова), Морского (Цена жизни В.Немировича-Данченко), в сезон 1898–1899 – Вожеватова (Бесприданница А.Островского); в сезон 1899–1900 – Гани Иволгина и (в гастрольной поездке) князя Мышкина (Идиот по Ф.Достоевскому), князя Шаховского (Царь Федор Иоаннович А.К.Толстого); в сезон 1900–1901 – Раскольникова (Преступление и наказание по Ф.Достоевскому), Соленого (Три сестры А.Чехова).

Летом 1901 ролью Хлестакова Леонидов дебютирует в московском театре Ф.Корша (режиссерскую работу в труппе вел в эти годы Н.Синельников). За два сезона службы у Корша Леонидов успевает сыграть Глумова (На всякого мудреца довольно простоты А.Островского, 1901), Ивана Карамазова (Братья Карамазовы по Ф.Достоевскому, 1902), Дульчина (Последняя жертва А.Островского, 1902), Чацкого (Горе от ума А.Грибоедова, 1902), роль Константина в Детях Ванюшина С.Найденова (спектакль, ставший значительным событием московского театрального сезона 1901–1902) сделала его знаменитым.

По приглашению В.Немировича-Данченко Леонидов вступает в Московский Художественный театр 18 февраля 1903, где прослужит 38 лет (до конца жизни). Историк театра П.Марков пишет, что Леонидов в МХТ «стал актером большого масштаба, но немногих ролей». Всего в МХТ Леонидов сыграл 33 роли, среди них всего несколько поистине трагических образов – Митя Карамазов (Братья Карамазовы Достоевского, реж. 1910), Пер Гюнт (Пер Гюнт Ибсена, 1912), Пугачев (Пугачевщина К.Тренева, 1925), но и в других героях для него были важны ощущение неустойчивости и непрочности жизни, острая, гнетущая тоска, сознание собственной обреченности: Кассий (Юлий Цезарь Шекспира, 1903), Васька Пепел (На дне М.Горького, 1903, дебют Леонидова в МХТ), Лопахин (Вишневый сад А.Чехова, 1904), Соленый (Три сестры А.Чехова, 1901, Леонидов ввелся в спектакль в 1906). Отсвет трагических тем возникал и в сатирических ролях – Пазухин (Смерть Пазухина М.Салтыков-Щедрин, 1914), Плюшкин (Мертвые души М. Булгакова по Н.Гоголю, 1932).

«Характерные» роли Леонидов играл размашисто, с жесткой, подчас жестокой иронией: Боркин (Иванов Чехова, 1904), Скалозуб (Горе от ума Грибоедова, 1906), Ляпкин-Тяпкин (Ревизор Гоголя, 1908), Карстен Иервен (У царских врат Гамсуна, 1909), Городулин (На всякого мудреца довольно простоты Островского, 1910), Блуменшен (У жизни в лапах Гамсуна, 1911), Тропачев (Нахлебник И.Тургенева, 1912).

По отзывам немногих свидетелей репетиций Леонидова, он был гениален в роли Отелло, работа над которой началась в 1926 и с перерывами продолжалась до премьеры в 1930. На первых спектаклях возобновилась преследовавшая Леонидова боязнь зрителя и пространства, а потому играл он неровно и лишь иногда «превосходно, забирая публику в руки». Спектакль прошел всего 10 раз.

Несчастливую судьбу имел и спектакль Каин Дж.Г.Байрона (1920), с Леонидовым в заглавной роли: спектакль прошел 8 раз. В числе поздних созданий Леонидова – профессор Бородин (Страх А.Афиногенова, 1931), Егор Булычев (Егор Булычев Горького, 1934).

Станиславский считал Леонидова «единственным русским трагическим актером». Сам Леонидов называл себя «трагиком в пиджаке». Через всю жизнь он пронес мечту сыграть Гамлета и даже начинал репетировать его одновременно с Качаловым в 1911, но был отстранен от репетиций, чтобы сократить сроки подготовки к премьере (предполагалось ввести его в спектакль позднее).

Леонидов пробовал себя в режиссуре: в 1916–1917 репетировал в 1-й Студии Флорентийскую трагедию О.Уайльда (спектакль не вышел); поставил во МХАТе Землю Н.Вирты (1937, совместная постановка с Н.Горчаковым) и Достигаева и других Горького (1938, совместная постановка с И.Раевским), участвовал в репетициях Кремлевских курантов Н.Погодина (спектакль был выпущен В.Немировичем-Данченко в 1942, уже после смерти Леонидова).

В разные годы Леонидов занимал ответственные должности в Художественном театре: заведующий труппой и репертуаром (1921–1922), заместитель директора театра (1927–1928), состоял в Совете (1932, совместно с В.Качаловым и И.Москвиным), управлявшем театром во время отсутствия руководителей, с 1939 входил в Художественный совет МХАТ под председательством В.Немировича-Данченко.

С 1917 снимался в кино. Среди ролей – Иван Грозный (Крылья холопа, реж. Ю.Тарич, 1926), профессор Кочубей (В город входить нельзя, реж. Ю.Желябужский, 1929), Гобсек (Гобсек, реж. К.Эггерт, 1936).

В последние годы жизни Леонидов преподавал в ГИТИСе актерское мастерство (с 1935 – декан актерского факультета, с 1939 – художественный руководитель института; доктор искусствоведения, профессор). Один из его актерских курсов стал в 1939 самостоятельным театром в Гомеле.

Опубликовал множество статей и заметок, посвященных театральному образованию, драматургии и событиям общественной жизни.

Умер Леонидов в Москве 6 августа 1941.