Петербургское и московское отделения ИРМО открылись, соответственно, в 1859 и 1860; их возглавляли братья Рубинштейны – Антон Григорьевич в Петербурге и Николай Григорьевич в Москве. Общество находилось под покровительством императорской фамилии (августейшими председателями были великая княгиня Елена Павловна, великие князья Константин Николаевич, Константин Константинович и другие). Существовали три категории членства: почетные, действительные (уплачивающие ежегодный денежный взнос) и члены-исполнители. Во главе каждого отделения стоял совет директоров; обычно видную роль в нем играли как музыканты, так и меценаты (в частности, в Москве директорами были Н.В.Алексеев и С.Н.Третьяков; с их помощью было куплено здание, где ныне помещается Московская консерватория).

Симфонические собрания ИРМО (10–12 абонементных концертов в сезон и экстренные собрания с крупными премьерами или участием выдающихся исполнителей) проводились в Петербурге и в Москве в залах городских Благородных собраний, впоследствии в залах консерваторий. Первый концерт РМО состоялся 23 ноября 1859 в Петербурге под управлением А.Г.Рубинштейна. Главными дирижерами РМО в Петербурге были (последовательно) А.Г.Рубинштейн, М.А.Балакирев, Э.Ф.Направник (1839–1916), впоследствии разные русские и иностранные дирижеры, в том числе Г.фон Бюлов, В.И.Сафонов (1852–1918), А.Б.Хессин (1869–1955); в Москве – Н.Г.Рубинштейн, М.Эрдмансдёрфер (1848–1905), В.И.Сафонов, М.М.Ипполитов-Иванов. Часто в Петербурге выступали московские музыканты, а в Москве – петербургские; происходил обмен программами; крупные зарубежные гастролеры выступали в обеих столицах. ИРМО проводило также камерные концерты (примерно в том же числе, что и симфонические). Основную часть репертуара в первые десятилетия существования общества составляла западная классическая музыка, произведения современных зарубежных авторов (Шуман, Берлиоз, Вагнер, Лист), а также Глинки и Даргомыжского; со временем все чаще стали исполняться новые сочинения русских авторов (так, в концертах РМО состоялись симфонические дебюты Мусоргского и Римского-Корсакова; там же впервые были исполнены многие сочинения Чайковского и т.д.). В 1860-х годах РМО проводило исполнительские и композиторские конкурсы, на протяжении всего существования общества регулярно публиковались отчеты о его деятельности.

Московское и петербургское отделения были учредителями консерваторий двух столиц и осуществляли руководство ими. В течение 1860–1890-х годов отделения ИРМО и общедоступные музыкальные классы при них были открыты в ряде городов страны (Киев, Казань, Харьков, Нижний Новгород, Саратов, Псков, Омск, Тобольск, Томск, Тамбов, Тифлис, Одесса, Астрахань и др.); в большинстве случаев эти классы со временем преобразовывались в училища и консерватории; провинциальные отделения также вели концертную деятельность. Управлять ими должна была главная дирекция РМО.