إسماعيل، وعاهدوهم على ذلك. فاستقر بنو إسماعيل على سدانة البيت، وخزاعة على ولاية الأمر. وكان بنو إياد قد بقيت منهم بقايا في مكة، فرغب المضريون إلى خزاعة أن يعينوهم على إخراجهم، فأخرجوهم، فعمدوا إلى الحجر الأسود، ودفنوه في الليل في موضع خفي حسداً لبني مضر؛ وبصرت به امرأة من خزاعة.
وأصبح الناس من فقده في أمر عظيم؛ وجاءت المرأة فأعلمت بذلك عمراً، فجمع بني إسماعيل وخزاعة، وقال: يا بني إسماعيل، إن الله ملككم البيت وأمر الناس ما شاء، ثم نزعه منكم إلى ما يشاء، والأديام دول، والأحوال تحول، وإنما يأبي قضاء الله من فسد حسه. وقد أصبح الملك فينا، وولاية البيت كانت لكم بشرط عقدناه بيننا. وكان الحجر الأسود أعظم ما بمكة، وبه كمال الحج، فكيف ترون أمركم بعد فقده؟ فقالوا: ما لنا حياة بعده، وما بقي لنا منسك دونه! قال: فإن رده أحد عليكم، أتسندون له ولاية البيت؟ فقالوا: كيف لنا به وإياد قد حملته معها! قال: جاوبوني على ما قلت لكم؛ قالوا: نعم. فأحضر المرأة الخزاعية، ودلتهم على المكان الذي دفنوه فيه، فأخرجوه، وردوه إلى مكانه. وصارت حجابة البيت في يد عمرو وولده من بعده، ولم يبق لبني إسماعيل لا سلطنة ولا سدانة.
قال البيهقي: وحين استوى لعمرو أمره بالملك والسدانة، قال في خاطره أن يغير دين بني إسماعيل، ويخرج من عنده دينا يتبع؛ وأعانه على ما أراده كثرة المال والكرم وعز القوم.