ذاك على أبي علي، وأرجف الناس به، وبأنه أقيم بلغةً إلى أن يرد أبو الحسن. وكان أبو الحسن أخو أبي الحسين قد تقلد مناظرة أبي الحسن بن الفرات وأسبابه في دار السلطان، وإثارة ودائعهم، بعناية أم موسى وقيامها بأمره، سعت أم موسى وابن الحواري في تقليد أبي الحسين ابن أبي البغل. وقد كان ظهر من اختلال نظر الخاقاني وسوء تدبيره ووقوف الأمر على يده ما دعا إلى صرفه قبل تطاول المدة. وعرف الخاقاني ما يجري الخوض فيه، فتوصل إلى فسخه بحيلة عملها، وذاك أنه قال لأبي القاسم ابنه: ادع دعوةً اجمع فيها أصحاب الدواوين ووجوه القواد وإخوتك وكتابنا، فإن لذة الوزارة في ظهور الرئاسة، وإلا فما الفرق بين العمل والعطلة؟ فقال: السمع والطاعة. وعين له في ذلك على يوم سبت لأنه لا موكب فيه، ودعا الجماعة فلما حصلوا عند أبي القاسم ابنه وقد كتم رأيه فيما هو مدبره عنه وعن كل أحد مضى وقت العصر من ذلك اليوم إلى دار الخلافة وقال لنصر الحاجب: استأذن لي على أمير المؤمنين لأجاريه مهماً لا يحتمل تأخر وقوفه عليه، فذكر نصر ذلك للمقتدر بالله، فقلق وخاف من حدوث حادث عظيم، فأوصله. فلما دخل إليه ودنا منه قال: ها هنا مهم لا يجوز أن يحضره أحد، فانصرف نصر الحاجب وسائر من في المجلس حتى بقيا خاليين، ثم قال له الخاقاني: قد رفعتني يا أمير المؤمنين بعد ذلة وأغنيتني بعد قلة، وما قصرت في خدمتك، ولا قعدت عن ممكن في تمشية أمور دولتك، وفيما بان من اجتهادي أخذي من أموال ابن الفرات ما مبلغه ألفاً ألف دينار وكسر سوى الأمتعة الجليلة. وما أدفع أني لست كهوفي الكفاية لطول عطلتي ودربته، واعتزالي وتصرفه، ولكنني مأمون على أيامك، ومعتقد لامامتك