История мечети восходит к временам пророка Авраама, который, согласно исламской традиции, вместе со своим сыном Исмаилом построил Каабу. Со временем вокруг неё сформировалась территория, отведённая под молитву, и в разные эпохи мечеть расширялась правителями Омейядского, Аббасидского, Османского халифатов, а затем и королевства Саудовская Аравия.
- Первое масштабное расширение в новейшее время началось в 1955 году и продолжалось до 1973 года.
- В XXI веке были реализованы проекты, значительно увеличившие площадь и вместимость, в том числе полное перестроение северной стороны мечети и обновление инфраструктуры.