ووجد أعداء الوزير أبي البركات الحسين بن محمد الجرجرائي سبيلاً إلى إغراء المستنصر به، وأنه تسرع فيما عادت مضرته على الدولة من تجهيز العساكر إلى حلب. فحركت هذه الأقوال وما يشبهها عليه ما يحقده الخليفة من استبداده بأمور من غير أمر ولا استئذان، فأمر به فقبض عليه ونفى إلى صور في منتصف شوال، فاعتقل بصور. فكانت وزارته سنة وتسعة أشهر وعشرة أيام. ثم أفرج عنه ومضى إلى دمشق.
وبقي الأمر في الوزارة عدة أيام والخليفة يعرض لقاضي القضاة أبي محمد اليازوري بالوزارة وهو يمتنع عليه؛ فأسند إلى أبي الفضل صاعد بن مسعود، من الأمراء، وأقيم واسطةً لا وزيرا، وخلع عليه ولقب بعميد الملك زين الكفاة، وجعل يرسم عليه عرض ما يختص بالرجال دون الأموال. وكان إذا أراد الاستئذان على ما يفعل جلس اليازوري بحضرة الخليفة واستدعى أبو الفضل، فعرض ما يحتاج إليه؛ فيتقدم إليه اليازوري بما يفعله. ويخرج في نفسه من اليازوري ما كان يدور بينه وبين الوزراء في معناه. فأخذ يحمل عليه الرجال ويوهمهم أنه إذا سأل لهم في زيادة أو ولاية يعترضه اليازوري ويفسد عليه. فلما كان في بعض الأيام قال ناصر الدولة حسن بن حسين بن حمدان لبعض ثقاته: اعلم أن القاضي له الثناء الجميل الكثير، ونحن شاكرون له، مقيدون بجميله، مفتقرون