Согласно мусульманской традиции, Адам поставил над Черным камнем палатку, а собственно Каабу построил его сын Сиф. После потопа сооружение было восстановлено Авраамом (Ибрахимом) и Исмаилом. По преданию, Черный камень первоначально был дарован Богом Адаму, Авраам должен был принести на нем свою жертву, а во время восстановительных работ Исмаил получил его вновь от Гавриила (Джибрила) и поместил в восточном углу здания. Им были получены также наставления, регламентирующие обряды, совершаемые во время паломничества.