ابراهيم باز ساره و اسحق را در بيت‌المقدس تنها گذاشت و با هدايت جبرئيل به راه افتاد. جبرئيل او را به سرزمين آشنا و شناخته شده‌اى كه اسماعيل و هاجر در آنجا بودند، راهنمايى كرد و همان محلى را كه روزگارى هاجر و اسماعيل از شتر فرود آمده بودند، به ابراهيم نشان داد و گفت: خانه را اينجا بنا كن.

ابراهيم در اطاعت از فرمان خدا و اجراى دستور او به سراغ فرزندش اسماعيل رفت و فرمان خدا را با او در ميان گذاشت.

از صبح روز بعد ابراهيم و اسماعيل براى ساختن خانه خدا دست به‌كار شدند و سنگهاى بناى كعبه را از پنج كوه اطراف مكّه (صبا، سيا، منا، جودى و ابوقيس)، به كنار محل ساخت خانه آوردند و ساختن آغاز شد. ابراهيم بنّاى خانه و اسماعيل كارگر او بود.

در روايات آمده است كه فرشتگان آسمان در حمل و نقل سنگها از كوههاى اطراف و همچنين در كار گذاشتن آنها به ابراهيم و اسماعيل كمك كردند. اضلاع خانه بالا رفت. چون بناى كعبه به پايان رسيد ابراهيم دست به دعا برداشت كه خدايا اين را از ما قبول فرما كه تو بينا و شنوايى؛ «اذ يَرفع ابراهيم القواعدَ من البيت و اسمعيل ربّنا تقبل منّا انك انت السميع البصير»

خداوند متعال خشنودى خود را به ابراهيم ابلاغ كرد و دستور داد تا حجرالاسود را كه آن زمان سنگ سفيدى بود و در كوه ابوقبيس قرار داشت به مكّه آورده و در جاى فعلى‌اش نصب نمايد.