واستمرت عناية الخلفاء العباسيين وغيرهم من ملوك المسلمين بتعمير المسجد طول عهد الخلافة العباسية، وفي سنة ٦٥٤هـ شبت نار في المسجد أتت على أكثره، فاهتم آخر الخلفاء العباسيين الخليفة المعتصم بالله وملوك آخرون كالملك المظفر الرسولي صاحب اليمن، والظاهر بيبرس سلطان مصر, فتتابعوا على المسجد كله، وتمت العمارة على يد الظاهر بيبرس. ثم تولى سلاطين المماليك في مصر تعمير الحرمين، حتى عهد السلطان الملك الأشرف قايتباي، وهو أعظم المماليك أثرا في تعمير الحرمين. وقد عمر كثيرا من جدر المسجد النبوي وسقوفه، ثم وقع حريق آخر سنة ٨٨٦ فأرسل قايتباي الأمير "سنقر" الجمالي، ومعه مائة من الصناع، فبنوا المأذنة الكبيرة وجدار القبلة، والجدار الشرقي إلى باب جبريل، والجدار الغربي إلى باب الرحمة، وبنوا الحجرة النبوية والقبة وقبابا صغيرة كثيرة، وبنوا المدرسة التي كانت بين باب السلام وباب الرحمة، والتي عرفت بعد باسم "المدرسة المحمودية". ثم جاءت الدولة العثمانية فقام سلاطينها على عمارة المسجد والعناية بشئونه حتى سنة ١٢٦٥هـ. وفي هذه السنة بدأ السلطان عبد المجيد العمارة الكبيرة التي لا تزال قائمة حتى اليوم، وقد انتهت سنة ١٢٧٧هـ بعد اثنتي عشرة سنة. وقد شملت العمارة المسجد كله إلا المقصورة ومأذنة قايتباي والجدارين الغربي والشمالي، ونقشوا الجدار والأسطوانات والمنابر والمحاريب وذهّبوها. وقدم الخطاط عبد الله زهدي من إستانبول، فلبث ثلاث سنين يكتب على جدران المسجد من الآيات القرآنية والأحاديث، ما نراه اليوم حلية رائعة جميلة، تسكن إليها العيون والقلوب. وبلغت نفقات العمارة المجيدية ثلاثة أرباع مليون جنيه مجيدي، ففي العمارة القديمة القائمة اليوم آثار ملوك من المماليك والعثمانيين، أعظمهم أثرا السلطان قايتباي، وأوسعهم تعميرا السلطان عبد المجيد. وقد تم مشروع جديد بتوسعة المسجد النبوي الشريف عام ١٣٧٥هـ-١٩٥٥م, وقد وضع أساس هذا المشروع في شهر ربيع الأول عام ١٢٧٢, وهي عمارة رائعة جميلة. وقد احتفل بالانتهاء من عمارة المسجد النبوي الشريف احتفالا رائعا، حضره الملك سعود، ووفود من مختلف البلاد العربية والإسلامية، وذلك