В 1840 состоялась первая публикация Мельникова – 9 очерков Дорожные записки на пути из Тамбовской губернии в Сибирь. Мельников изучал историю края, писал работы История Владимиро-Суздальского княжества, Персия при Сасанидах и др., переводил чешскую грамматику и стихи А.Мицкевича. В 1840 начал писать роман Торин, отрывки из которого, напечатанные в «Литературной газете», по свидетельству современных Мельникову критиков, являлись подражанием Н.В.Гоголю. Поняв, что его первый беллетристический опыт оказался неудачным, Мельников более 10 лет после этого ничего не писал. Служил корреспондентом Археологической комиссии, был членом-корреспондентом Общества сельского хозяйства, редактором газеты «Нижегородские губернские ведомости», читал бесплатные публичные лекции по истории. В 1847 Мельников стал чиновником особых поручений по делам раскола, в 1852–1853 – руководителем Статистической экспедиции по изучению раскола в министерстве внутренних дел. Благодаря этому досконально изучил историю, быт и психологию раскольников. В те годы Мельников называл раскол «язвой государственной» и исполнял свои служебные обязанности в соответствии с этим убеждением: закрывал скиты, отбирал иконы и т.п. Это сделало его отрицательным героем старообрядческого фольклора; по мнению раскольников, дьявол научил Мельникова видеть сквозь стены. Борьба Мельникова с раскольниками вызывала неодобрение у коллег-литераторов. М.Е.Салтыков-Щедрин называл его «подлецом по приказанью», А.Богданович – «сыщиком-добровольцем».

За обращение многих раскольников в православие Мельников получил орден св. Анны 3-й степени. В годы реформ Александра II, в которых он принимал деятельное участие в качестве чиновника министерства внутренних дел, Мельников изменил свое отношение к расколу и заявил, что больше не считает его опасным для российской государственности.

В 1852 Мельников опубликовал рассказ Красильниковы. Герой рассказа, купец, убил свою невестку только за то, что она немка, и довел этим сына до сумасшествия. Критики отметили, что писатель изобразил в этом рассказе те черты русского характера, которые сделали возможным деспотизм. Рассказ был написан великолепным русским языком, автор использовал в нем свои многочисленные этнографические наблюдения. Несмотря на одобрение критики, Мельников еще долго не решался публиковать свои произведения, многие из которых были им уничтожены. Лишь через 5 лет, в 1857, он опубликовал в журнале «Русский вестник» еще несколько рассказов – Дедушка Поликарп, Поярков, Медвежий угол, Непременный. Все они написаны в духе «натуральной школы» – со множеством документальных подробностей уездного быта, с негодованием по поводу взяточничества чиновников и унижения крестьян. В том же ключе написана повесть о жестоком крепостнике Старые годы (1857), которую Мельников считал лучшим своим произведением. Публикация рассказов вызвала недовольство министерского начальства – и принесла Мельникову широкую известность. Мельникова сравнивали с Салтыковым-Щедриным, называя обоих писателей символами новой литературы. Н.Г.Чернышевский считал Мельникова одним из наиболее талантливых современных рассказчиков.

В 1858 Мельников опубликовал в журнале «Современник» повесть Гриша, в которой впервые коснулся главной темы своих будущих романов – раскола. В 1859 был соиздателем газеты «Русский дневник», в которой также публиковал некоторые свои рассказы. Писал также рецензии (на Грозу А.Н.Островского и др. произведения), исследования по истории раскола (Письма о расколе, 1862, Старообрядческие архиереи, 1863, и др.). Его брошюру для народного чтения О Русской Правде и польской кривде (1863), написанную по заказу министра внутренних дел и направленную против польского восстания, Салтыков-Щедрин считал сознательным разжиганием в народе темных чувств. Аналогичную оценку писателей либерального лагеря вызывали и статьи, которые Мельников печатал в 1864–1865 в газете министерства внутренних дел «Северная почта».

В 1866 в чине действительного статского советника Мельников вышел в отставку и поселился в Москве. В 1867 редактировал отдел внутренних дел в газете «Московские ведомости», однако регулярная газетная работа не удавалась ему из-за привычки работать «нервными порывами». Мельников решил полностью посвятить себя литературной деятельности. В 1868 написал повесть За Волгой, которую затем переделал в роман В лесах (1871–1875). Роман, действие которого происходило в раскольничьих скитах, имел большой успех у публики. Мельникова называли «первостепенным талантом», министр народного просвещения считал, что по его книгам надо учить детей русскому языку, П.Третьяков предложил писателю позировать художнику Н.Крамскому, чтобы поместить его портрет в своей галерее.

Работе над романом На горах (1875–1881) помешал паралич, полученный Мельниковым из-за сидячего образа жизни; последние главы романа он диктовал жене. Критики назвали дилогию В лесах и На горах эпопеей, т.к. никогда еще в литературе не были так полно изображены история и быт практически всех социальных сословий Заволжья. В роли повествователя выступал наивный сказитель Андрей Печерский. Сюжет строился вокруг судьбы купеческих семей Чапуриных и Смолокуровых. Действие происходило в женском и мужском раскольничьем скиту, в среде купцов, крестьян, рабочих, сектантов-хлыстов и др. Писатель использовал в текстах богатый фольклорный материал: песни, плачи, легенды, сказки, пословицы и поговорки и т.п.

Ко времени работы над дилогией Мельников пришел к убеждению, что старообрядчество несет в себе религиозный идеал народа, благодаря которому Россия спасется от нигилистического безверия. Критики отмечали, что писателю удалось на обширном материале показать не только психологию героев, но и тот «строгий житейский уклад», без которого разрушается народная жизнь. В целом критика воспринимала Мельникова как писателя-этнографа.

Болезнь Мельникова прогрессировала. В 1882, в начале работы над романом Царица Настасья, писатель лишился речи.

Умер Мельников в Нижнем Новгороде 1 (13) ноября 1883.