Айвз родился 20 октября 1874 в Данбери (шт. Коннектикут), в семье капельмейстера городского оркестра. Джордж Айвз имел здоровый взгляд на диссонанс, и это определило художественное развитие его сына: до конца дней слух Чарлза хранил впечатление, полученное в детстве, когда его отец заставил два оркестра, каждый из которых играл свою музыку, маршировать навстречу друг другу. В молодости композитор учился в Йельском университете, где занимался музыкой под руководством Х.Паркера и играл на органе в церкви. После окончания университета в 1898 Айвз отправился в Нью-Йорк и занялся страховым делом; все свободное время он уделял композиции. Результатом многолетнего перенапряжения стала болезнь сердца (первый ее приступ относится к 1918), и Айвзу пришлось оставить музыку. Умер Айвз в Нью-Йорке 19 мая 1954.