وكان الذي يبنيها يا قوم الرومي ويساعده عليه نجار مصري ولما انتهوا إلى وضع الحجر الأسود تنازعوا بينهم في أن أيها يختص بشرف وضعه فرأوا أن يحكموا محمدا صلى الله عليه وآله وسلم وسنه إذ ذاك خمس وثلثون سنة لما عرفوا من وفور عقله وسداد رأيه فطلب رداء ووضع عليه الحجر وأمر القبائل فأمسكوا بأطرافه ورفعوه حتى إذا وصل إلى مكانه من البناء في الركن الشرقي أخذه هو فوضعه بيده في موضعه.
وكانت النفقة قد بهظتهم فقصروا بنائها على ما هي عليه الآن وقد بقي بعض ساحته خارج البناء من طرف الحجر حجر إسماعيل لاستصغارهم البناء.
وكان البناء على هذا الحال حتى تسلط عبد الله بن الزبير على الحجاز في عهد يزيد ابن معاوية فحاربه الحصين قائد يزيد بمكة وأصاب الكعبة بالمنجنيق فانهدمت وأحرقت كسوتها وبعض أخشابها ثم انكشف عنها لموت يزيد فرأى ابن الزبير أن يهدم الكعبة ويعيد بنائها فأتى لها بالجص النقي من اليمن وبناها به وأدخل الحجر في البيت وألصق الباب بالأرض وجعل قبالته بابا آخر ليدخل الناس من باب ويخرجوا من آخر وجعل ارتفاع البيت سبعة وعشرين ذراعا ولما فرغ من بنائها ضمخها بالمسك والعبير داخلا وخارجا وكساها بالديباج وكان فراغه من بنائها 17 رجب سنه 64 هجرية.
ثم لما تولى عبد الملك بن مروان الخلافة بعث الحجاج بن يوسف قائده فحارب ابن الزبير حتى غلبه فقتله ودخل البيت فأخبر عبد الملك بما أحدثه ابن الزبير في الكعبة فأمره بإرجاعها إلى شكلها الأول فهدم الحجاج من جانبها الشمالي ستة أذرع وشبرا وبنى ذلك الجدار على أساس قريش ورفع الباب الشرقي وسد الغربي ثم كبس أرضها بالحجارة التي فضلت منها.
ولما تولى السلطان سليمان العثماني الملك سنة ستين وتسعمأة غير سقفها ولما تولى السلطان أحمد العثماني سنة إحدى وعشرين بعد الألف أحدث فيها ترميما ولما حدث السيل العظيم سنة تسع وثلثين بعد الألف هدم بعض حوائطها الشمالية والشرقية والغربية فأمر السلطان مراد الرابع من ملوك آل عثمان بترميمها ولم يزل على ذلك حتى اليوم وهو سنة ألف وثلاث مأة وخمس وسبعين هجرية قمرية وسنة ألف وثلاثمأة وثمانية وثلاثين هجرية شمسية.