وقد أسس الرسول -صلى الله عليه وسلم- هذا المسجد، حينما قدم مهاجرا في شهر ربيع الأول من السنة الأولى للهجرة. وكان أساسه من الحجر، وجداره من الطين، وسقفه من الجريد، وعمده من جذوع النخل. وكانت مساحته ٦٠ ذراعا في ٧٠، وفيه ثلاثة أروقة جهة القبلة، وساحة واسعة، وكان له ثلاثة أبواب، أحدها: في الجهة الجنوبية, إذ كانت قبلته أول الأمر إلى الشمال نحو بيت المقدس، والثاني: في الجهة الغربية, وهو باب مكة "باب الرحمة"، والثالث: باب آل عثمان "باب جبريل". وروي أنه لما رجع الرسول من خيبر سنة ٧ من الهجرة، زاد في المسجد من الشرق والغرب والشمال، فصارت مساحته مائة ذراع في مائة. وفي سنة ١٧ من الهجرة وسع الخليفة الثاني عمر -رضي الله عنه- المسجد من جهة القبلة، ومن الغرب والشمال، وجعل بناءه كما كان في عهد الرسول, وجدرانه من اللبن، وسقفه من الجريد، وعمده من الخشب. ثم زاد فيه عثمان -رضي الله عنه- سنة ٢٩ من الجهات الثلاث التي وسع فيها عمر وبنى الجدران بالحجارة, وجعل عمده من حجارة يصل بينها الحديد والرصاص وسقفه من خشب الصاج. ثم كان عهد الخليفة الأموي الوليد بن عبد الملك, الذي بنى الجامع الأموي في دمشق، ثم أراد أن يشيد المسجد النبوي ويتأنق في تشييده كما شيد جامع بني أمية، فعهد إلى والي المدينة عمر بن عبد العزيز فجدد المسجد ووسعه, واستمر في التعمير من سنة ثمان وثمانين إلى سنة إحدى وتسعين، وزاد في المسجد من جهاته الأربع. وكان عمر وعثمان -رضي الله عنهما- قد تجنبا الزيادة من جهة الشرق حيث الحجرات, وأدخل الوليد في المسجد حجرات أزواج الرسول -صلوات الله عليه وسلامه- وجانبا من حجرة عائشة التي فيها قبور الرسول وصاحبيه. وقد افتن عمال الوليد في بناء المسجد بالحجارة والجص، ونقش جدرانه بالفسيفساء والمرمر، وجعل سقفه من الصاج، وذهب كما ذهبت رءوس الأساطين في عهد الخلافة العباسية في حكم الخليفة الثالث المهدي بن المنصور، الذي زاد في المسجد الحرام زيادة كبيرة، كما زاد في المسجد النبوي من جهة الشمال إلى الحد الذي كان عليه المسجد قبل العمارة السعودية، وتمت عمارة المهدي في أربع سنوات من سنة ١٦١ إلى سنة ١٦٥هـ