بالزيادة في مسجد رسول الله -صلى الله عليه وسلم- وولاه بناءه هو وعبد الله بن عاصم بن عمر بن عبد العزيز بن مروان، وعبد الملك بن شبيب الغساني من أهل الشام، فزيد في المسجد من جهة الشام إلى منتهاه اليوم، وكانت زيادته مائة ذراع ولم يزد فيه من الشرق ولا الغرب ولا القبلة شيئا، ثم خفض المقصورة وكانت مرتفعة ذراعين من الأرض، فوضعها في الأرض على حالها اليوم، وسد على آل عمر خوختهم التي في دار حفصة حتى كثر الكلام فيها، ثم صالحهم على أن خفض المقصورة وزاد في المسجد لتلك الخوخة ثلاث درجات، وحفرت الخوخة حتى صارت تحت أرض المقصورة وجعل عليها في جدار القبلة شباك فهو عليها اليوم، وكان المهدي قبل بنائه المسجد قد أمر به فقدر ما حوله من الدور، فابتيع، وكان مما أدخل فيه من الدور دار عبد الرحمن بن عوف التي يقال لها دار مليكة، ودار شرحبيل ابن حسنة، وبقية دار عبد الله بن مسعود التي يقال لها دار القراء، ودار المسور بن مخرمة الزهري، وفرغ من بنيان المسجد سنة خمس وستين ومائة. قالوا: وكتب على أثر الكتاب الذي كتبه عمر بن عبد العزيز في صحن المسجد ما نسخته: "أمر عبد الله المهدي أمير المؤمنين أكرمه الله وأعز نصره بالزيادة في مسجد رسوله الله -صلى الله عليه وسلم- وإحكام عمله ابتغاء وجه الله عز وجل والدار الآخرة أحسن الله ثوابه بأحسن الثواب والتوسعة لمن صلى فيه من أهله وأبنائه من جميع المسلمين، فأعظم الله أجر أمير المؤمنين فيما نوى من حسنته في ذلك وأحسن ثوابه، بسم الله الرحمن الرحيم" ثم كتب "أم القرآن" كلها، ثم كتب على أثرها: {إِنَّمَا يَعْمُرُ مَسَاجِدَ اللَّهِ} [التوبة: ١٨] ... الآية كلها ثم كتب: "وكان مبتدأ ما أمر به عبد الله المهدي محمد أمير المؤمنين -أكرمه الله- من الزيادة في مسجد رسول الله -صلى الله عليه وسلم- في سنة اثنتين وستين ومائة، وفرغ منه سنة خمس وستين ومائة، فأمير المؤمنين -أصلحه الله- يحمد الله على ما أذن له واختصه به من عمارة مسجد رسول الله -صلى الله عليه وسلم- وتوسعته حمدا كثيرا، والحمد لله رب العالمين على كل حال".
قالوا: وعرض منقبة جداري المسجد مما يلي المغرب ينقصان شيئا، وعرض منقبته مما يلي المشرق ذراعان وأربع أصابع، وإنما زيد فيها؛ لأنها من ناحية السيل، وفي صحن المسجد أربع وستون بلاعة لماء المطر، عليها أرحا، ولها صمائم من حجارة يدخل الماء من أصعابها، وكان أبو البحتري وهب بن وهب القاضي على المدينة واليًا لهارون أمير المؤمنين، فكشف سقف المسجد في سنة ثلاث وسبعين ومائة، فوجد فيه سبعين خشبة مكسورة فأدخل مكانها خشبا صحاحا، وكان ماء المطر يغشى قبلة المسجد فجعل التي في شرقيه تلي القبر فمنع الماء الصحن ومنع حصباء القبلة أن يصل إلى الصحن.