Древнейшей частью крепости является расположенная в ее центре Белая башня, построенная Вильгельмом Завоевателем в 1078 и представляющая сама по себе целый замок. Ее название напоминает о белом камне из Кана, послужившим для нее строительным материалом; в Средние века башню регулярно белили. Внутри Белой башни сохранилась капелла св. Иоанна, редкий по красоте и сохранности пример нормандского стиля. Башня имеет в высоту 27 м, в ней разместились арсеналы, зал писцов, зал Тюдоров (с доспехами Генриха VIII) и богатая коллекция оружия. В свое время Белая башня удерживалась в качестве залога лондонцами, требовавшими окончательного подписания Великой хартии вольностей (1215). В течение столетий здесь перебывало множество узников, включая Елизавету и Марию Тюдор.

Здание казармы Ватерлоо расположено поблизости от того места, где был королевский дворец, уничтоженный при Оливере Кромвеле. Рядом с казармами находится маленькая часовня св. Петра «в узах» (12 в.), в которой среди прочих захоронений имеются могилы Анны Болейн и Катерины Говард, жен Генриха VIII, обезглавленных в двух шагах отсюда, на лужайке Тауэра. Казни менее важных персон производились на холме Тауэр, за пределами крепости, или в Тайберне. В конце 15 в. в Тауэре были умерщвлены «маленькие принцы», король Эдуард V и его младший брат. Внутренняя линия крепостных стен включает 13 башен. В башне Бошан (12 в.) содержались такие узники, как леди Джейн Грей и сэр Уолтер Рейли. В башне Уэйкфилд с середины 19 в. до 1967 хранились королевские регалии, затем их перенесли в бомбоубежище под казармой Ватерлоо. Дом короля, где перед казнью содержалась Анна Болейн, занят теперь комендантом Тауэра.

Тауэр знаменит своими стражами, лейб-гвардейцами, по прозвищу «бифитеры» (буквально «мясоеды»), которые участвуют исключительно в официальных церемониях. Их мундиры в точности воспроизводят образцы тюдоровского времени. Средневековую атмосферу крепости выразительно дополняют легендарные вороны Тауэра, многие сотни поколений которых обитают на его лужайке. В ходе ежевечерней Церемонии ключей сразу после захода солнца страж лондонского Тауэра, несущий в руках ключи и фонарь в сопровождении вооруженной охраны, запирает древние двери башни Байуорд. Подается команда «на караул!», после чего Тауэр считается запертым до рассвета. Ритуал повторяется уже более 600 лет.