Имя Герцшпрунга вошло в историю астрономии благодаря исследованиям 1905–1907 в Копенгагене и затем в Потсдаме, когда он построил диаграмму зависимости видимой звездной величины от показателя цвета в скоплениях Плеяды и Гиады (1911). В 1913 американский астроном Г.Ресселл построил аналогичную диаграмму для всех звезд с известными расстояниями, получившую название диаграммы Герцшпрунга – Ресселла. Звезды со сходными физическими характеристиками образуют на ней более или менее изолированные группы. Большинство известных звезд располагаются на так называемой Главной последовательности, простирающейся по диагонали от горячих голубых звезд со светимостью в 1000 раз большей, чем у Солнца, через белые звезды, желтовато-белые, желтые (Солнце), оранжевые к красным карликам, в 1000 раз слабее Солнца. Эта диаграмма стала основой для исследований эволюции звезд.

Герцшпрунг определил также собственные движения звезд в скоплении Плеяд, впервые отметил, что скопления Плеяды, Гиады и Ясли различаются по звездному населению (позже было установлено, что это различие обусловлено разным возрастом скоплений). Дал надежные оценки расстояния до Малого Магелланова Облака, показав, что многие переменные звезды в нем являются цефеидами. Показал, что Полярная звезда является цефеидой.

Герцшпрунг состоял членом многих академий наук и почетным доктором крупнейших университетов, был награжден Золотой медалью Лондонского королевского астрономического общества (1929), медалью К.Брюса Тихоокеанского астрономического общества (1937) и др.

Умер Герцшпрунг в Тёллёсе (Дания) 21 октября 1967.