وأول من أحدث ذلك عمر بن عبد العزيز، وهو يومئذ عامل الوليد على المدينة حين هدم المسجد النبوي، وزاد فيه.
وأول من زاد في جامع ومسلمة بن مخلد، وهو أمير مصر سنة ثلاث وخمسين، شكا الناس إليه ضيق المسجد، فكتب إلى معاوية، فكتب معاوية إليه يأمره بالزيادة فيه، فزاد فيه من بحرية، وجعل له رحبة من البحري وبيضه وزخرفه، ولم يغير البناء القديم، ولا أحدث في قبلته ولا غربيه شيئا.
وكان عمرو قد اتخذ منبرا، فكتب إليه عمر بن الخطاب رضي الله عنه بعزم عليه في كسره: أما بحسبك أن تقوم قائما، والمسلمون جلوس تحت عقبيك! فكسره.
وذكر أنه زاد من شرقيه حتى ضاق الطريق بينه، وبين دار عمرو بن العاص وفرشه بالحصر، وكان مفروشا بالحصباء.
وقال في كتاب الجند العربي: إن مسلمة نقض ما كان عمرو بن العاص بناه، وزاد فيه من شرقيه، وبنى فيه أربع صوامع، في أركانه الأربعة برسم الأذان، ثم هدمه عبد العزيز بن مروان أيام إمرته بمصر في سنة تسع وسبعين، وزاد فيه من ناحية الغرب، وأدخل فيه الرحبة التي كانت بحرية.
ثم في سنة تسع وثمانين أمر الوليد نائبه بمصر برفع سقفه وكان مطأطئًا، ثم هدمه قرة بن شريك بأمر الوليد سنة اثنتين وتسعين وبناه، فكانوا يجمعون في قيسارية العسل حتى فرغ من بنائه في رمضان سنة ثلاث وتسعين، ونصب فيه المنبر الجديد في سنة أربع وتسعين، وعمل فيه المحراب المجوف، وعمل للجامع أربعة أبواب، ولم يكن له قبل إلا بابان، وبنى فيه بيت المال، بناه أسامة بن زيد التنوخي متولي الخراج بمصر سنة تسع وتسعين؛ فكان مال المسلمين فيه، ثم زاد فيه صالح علي بن عبد الله بن عباس،