عليها ولاية البيت زهدت فيها وتنحت عن تسلم المفاتيح، فسلم "حليل" المفاتيح لرجل آخر من خزاعة يسمى أبا غبشان، فابتدأ قصي يحتال على أبي غبشان، حتى اشترى منه مفاتيح الكعبة.
كان قصي يعلم ما سيكون, فاتخذ للحرب عدتها من قبل، وما كادت خزاعة تعلم بذلك حتى هاجت وماجت، وادعى أبو غبشان أنه لم يبع المفاتيح، بل كان ما حدث بطريق الرهن، وامتشق قصي الحسام، ومن ورائه قومه من بني إسماعيل ودافع عن الكعبة وهزم خزاعة وأجلاهم عن مكة، وصار الأمر كله فيها لقصي، فكان رئيسا دينيا يخصه العرب بالإجلال والتعظيم.
وقد جمع قصي قريشا من نواحٍ متعددة إلى وادي مكة، ولقب من أجل ذلك "مجمعا"؛ وذلك ليكون منهم عصبية بالقرابة، وجعل قصي لكل بطن حيا خاصا على مقربة من الكعبة، وكان الناس قبل ذلك لا يجرءون على البناء بجوار الكعبة مبالغة في تقديسها، وكانت حجة قصي في ذلك أن يقيم على مقربة من البيت حماة له يتعهدونه بالصيانة ويدفعون عنه الخطر، ولم يترك بين الكعبة والبيوت التي بنتها بطون قريش إلا بمقدار ما يسمح بالطواف، فكانت البيوت كالحصون حول الكعبة من جميع نواحيها.
وبنى قصي دار الندوة، وجعل بابها يؤدي إلى الكعبة مباشرة، وكان قصي يتولى رئاسة هذه الدار التي جعل من اختصاصها حسم المشاكل، وحل المعضلات، وكان لا يدخلها إلا من بلغ الأربعين من عمره، وكانوا يزوجون فيها بناتهم. وإذا بلغت الجارية مبلغ النساء ألبست الدرع في تلك الدار، وكانوا يعقدون فيها لواء الحرب، وقد انتهى أمرها قبل مجيء الإسلام.
وكان في يده اللواء وهو راية الحرب, فكانت لا تعقد إلا بيده، ثم انتهى أمرها إلى بني أمية من ذريته.
وأسندت إليه الحجابة, وهي سدانة البيت، يفتح بابه ويغلقه حسب الحاجة، ويتولى خدمة الكعبة، ويكون عنده مفتاحها، ثم استقرت بعده في بني شيبة.