فسد ما بينهم وبين الحاكم، فأخذ ابن المغربيّ يحسن لمفرّج خلع طاعة الحاكم والدعاء لغيره إلى أن استجاب له، فراسل أبا الفتوح الحسن بن جعفر العلويّ أمير مكة يدعوه إلى الخلافة، وسهل له الأمر وسير إليه بابن المغربيّ يحثه على المسير، وجرّأه على أخذ مال تركه بعض المياسير، ونزع المحاريب الذهب والفضة المنصوبة على الكعبة وضربها دنانير ودراهم وسماها الكعبية، وخرج ابن المغربيّ من مكة فدعا العرب من سليم وهلال وعوف بن عامر، ثم سار به وبمن اجتمع عليه من العرب حتى نزل الرملة، فتلقاه بنو الجرّاح وقبلوا له الأرض وسلموا عليه بإمرة المؤمنين، ونادى في الناس بالأمان، وصلّى بالناس الجمعة فامتغص الحاكم لذلك وأخذ في استمالة حسان ومفرّج وغير هما، وبذل لهم الأموال، فتنكروا على أبي الفتوح، وقلد أيضا مكة بعض بني عمّ أبي الفتوح فضعف أمره وأحسن من حسان بالغدر، فرجع إلى مكة وكاتب الحاكم واعتذر إليه فقبل عذره وأما ابن المغربيّ فإنه لما انحلّ أمر أبي الفتوح ورأى ميل بني الجرّاح إلى الحاكم كتب إليه:
وأنت وحسبي أنت تعلم أنّ لي ... لسانا أمام المجد يبني ويهدم
وليس حليما من تباس يمينه ... فيرضى ولكن من تعض فيحلم
فسير إليه أمانا بخطه، وتوجه ابن المغربيّ قبل وصول أمان الحاكم إليه إلى بغداد، وبلغ القادر بالله خبره فاتهمه بأنه قدم في فساد الدولة العباسية، فخرج إلى واسط واستعطف القادر فعطف عليه، وعاد إلى بغداد ثم مضى إلى قرواش بن المقلد أمير العرب وسار معه إلى الموصل، فأقام بها مدّة، وخافه وزير قرواش فأخرجه إلى ديار بكر فأقام عند أميرها نصير الدولة أبي نصر أحمد بن مروان الكرديّ، وتصرّف له وكان يلبس في هذه المدّة المرقعة والصوف، فلما تصرّف غير لباسه وانكشف حاله فصار كمن قيل فيه وقد ابتاع غلاما تركيا كان يهواه قبل أن يبتاعه:
تبدّل من مرقعة ونسك ... بأنواع الممسّك والشفوف
وعنّ له غزال ليس يحوي ... هواه ولا رضاه بلبس صوف
فعاد أشدّ ما كان انتهاكا ... كذاك الدهر مختلف الصروف
وأقام هناك مدّة طويلة في أعلى حال وأجل رتبة وأعظم منزلة، ثم كوتب بالمسير إلى الموصل ليستوزره صاحبها، فسار عن ميافارقين وديار بكر إلى الموصل، فتقلد وزارتها وتردّد إلى بغداد في الوساطة بين صاحب الموصل وبين السلطان أبي عليّ بن سلطان الدولة أبي شجاع بن بهاء الدولة أبي نصر بن عضد الدولة أبي شجاع بن ركن الدولة أبي عليّ بن بويه، واجتمع برؤساء الديلم والأتراك، وتحدّث في وزارة الحضرة حتى تقلدها بغير خلع ولا لقب ولا مفارقة الدراعة، في شهر رمضان سنة خمس عشرة وأربعمائة، فأقام شهورا وأغرى رجال الدولة بعضهم ببعض، وكانت أمور طويلة آلت إلى خروجه من الحضرة