Родился 1 декабря 1918 во Владивостоке, детские годы прошли во Владивостоке и Харбине, где некоторой известностью пользовался его отец, поэт-футурист Венедикт Март, ставший в 1937 жертвой репрессий. Елагин учился в Киевском медицинском институте (не окончил), в годы оккупации работал в родильном доме, что могло дать повод для преследований за сотрудничество с врагом. Стихи писал с середины 1930-х годов, но на родине напечатался только один раз (авторизованный перевод стихотворения украинского поэта М.Рыльского, который оказывал начинающему литератору посильную помощь). В 1939 встречался в Ленинграде с Ахматовой – эпизод, описанный в его автобиографической поэме Память (1979) и стихотворении Я никогда не верил...

Ранняя лирика Елагина окрашена заметным влиянием В.Маяковского и в меньшей степени Б.Пастернака, а на формировании его личности сказалось увлечение произведениями А.Грина. Как и его первая жена, поэтесса О.Анстей, вместе с которой они бежали из Киева при приближении советских войск, а также киевский поэт Н.Моршен (Мамченко), также ставший «перемещенным лицом», Елагин с юности понимал невозможность своего существования в границах советской литературы. Однако в творческом отношении он обязан ей (в особенности тем ее мастерам, которые представляют авангард 1920-х годов) больше, чем русской классической традиции.

Г.Иванов назвал Елагина «поэтом ярко выраженной советской формации», В.Вейдле также находил, что поэзия Елагина возникла в русле традиций, завещанных футуризмом и Маяковским.

Первые поэтические книги, подписанные псевдонимом, который напоминал о Елагином мосте и тем самым о Блоке, были изданы поэтом в Мюнхене (По дороге оттуда, 1947 – так же называлась и первая большая книга Елагина, вышедшая в 1953 в США; Ты, мое столетье, 1948). Летописью жестоких испытаний, доставшихся поколению Елагина, которое проделало свой «крутой маршрут» по дорогам века, стали и поэтические книги, созданные в США, среди них особое место занимает во многом итоговый том Под созвездием топора (1976).

Сразу по приезде в Нью-Йорк Елагин стал постоянным сотрудником газеты «Новое русское слово», где более десяти лет вел стихотворный фельетон на злободневные темы (часть этих его публикаций составила книгу Политические фельетоны в стихах, 1959). Овладев английским языком, Елагин начал переводить американских поэтов, отдал несколько лет переложению эпической поэмы Стивена Винсента Бене Тело Джона Брауна (фрагмент был напечатан в журнале «Америка» в 1970 и впервые представил Елагина русской аудитории, для которой предназначалось это издание; полностью перевод опубликован в 1979). В 1970-е годы Елагин предподавал русскую литературу в университете Питсбурга и регулярно участвовал в работе Летней школы русистики в Мидлберри (шт. Вермонт). Его последняя книга Тяжелые звезды, изданная на средства, собранные друзьями и почитателями поэта, вышла за несколько дней до его смерти.

Творчество позднего Елагина отличается интересом к философским темам, связанным прежде всего с его представлением о времени, которое никогда не становится мертвым прошлым, если сохранена духовная связь с людьми и явлениями далекой поры. В лирике последних лет находят отзвук и религиозные мотивы, не присущие Елагину в его раннюю пору, а эмигрантская судьба осознается не только как страдание, но и как благо, потому что «запах острее и слаще у срезанных трав». Елагину принадлежит также изданная в 1949 пьеса Портрет мадмуазель Танжи, которая представляет собой переделку оперетты И.Кальмана Фиалка Монмартра.

Умер Елагин в Питсбурге 8 февраля 1987.