Окончил Екатеринославское начальное училище. Во время учебы начал писать стихи. С восторгом приняв революционные идеи, вступил в комсомол, стал главным редактором молодежного журнала «Юный пролетарий», публиковал стихи в газете «Голос солдата». Во время Гражданской войны был стрелком 1-го Екатеринославского территориального полка, бойцом части особого назначения.

В 1922 переехал в Москву. В 1923 вышел первый поэтический сборник Светлова Рельсы. Его стихи Товарищам (1924), Двое (1924), Рабфаковке (1925) и др. были популярны среди молодежи. Но всенародное признание Светлову принесло опубликованное в газете «Комсомольская правда» стихотворение Гренада (1926). На эти стихи написали музыку более десяти композиторов, во время гражданской войны в Испании Гренада стала гимном интербригад. Художественную значительность стихов отметил В.Маяковский.

Идеологический отказ от революционной романтики в связи с переходом к нэпу был тяжело воспринят Светловым. Это сказалось в его стихах и в пьесе из жизни колхозников Глубокая провинция (1935). Спектакль, поставленный по этой пьесе режиссером А.Диким, был раскритикован в газете «Правда», поскольку колхозная жизнь, показанная в пьесе, не соответствовала официальной партийной доктрине. Пьеса Мыс Желания (1940) не была ни поставлена, ни даже опубликована, несмотря на то, что в годы репрессий Светлов писал стихи, прославлявшие деятельность ГПУ.

Огромной популярностью пользовалась написанная Светловым Песня о Каховке (1935). Образ девушки в шинели, созданный в этих стихах, стал символом поколения революционных романтиков, а слова: «Мы мирные люди, но наш бронепоезд / Стоит на запасном пути!» – поэтическим воплощением советской идеологии.

В годы Великой Отечественной войны Светлов был военным корреспондентом газеты «Красная звезда». Военной теме посвящены не только публицистические произведения, но и многочисленные стихи (поэтический цикл Лиза Чайкина, 1942; Итальянец, 1943, и др.) и поэмы (Двадцать восемь, 1942), а также пьеса Бранденбургские ворота (1945). Несмотря на огромную популярность среди читателей и коллег, которой в немалой мере способствовал знаменитый юмор Светлова, его творчество замалчивалось официальной критикой.

С 1957 начали выходить его поэтические сборники. Сборник Стихи последних лет (1967) был удостоен Ленинской премии уже после смерти автора.

Умер Светлов в Москве 28 сентября 1964.