وكان يحضر مجلس الوزير يوم الخميس في القصر بعد قضاء خدمة المجالس، ثم في الدار يوم الاثنين مسلما عليه. فحضر دار الوزارة يوم الاثنين على رغمه، فقربه الوزير وسأل عن حاله؛ فأجاب بأنه لا حكم له ولا أمر، والأحكام مردودة إلى خليفته ولهما الحكم دونه، فإذا حضرا فتح باب الحكم، وإذا غابا أغلق بابه. فقال له: كفيت يا قاضي القضاة. وخرج من عنده وحضر بعده القضاعي وابن أبي زكرى، فقال لهما الوزير: ما لقاضي القضاة يتضرر منكما ويشكو استيلاءكما على الحكم دونه، وأنه لا تنفذ أوامره معكما؟ فقالا: وأي أمر لنا دونه، هل أوقفنا أمر أحكامه، أولنا غلمان يمسكون حجج الناس حتى يصانعوهم عليها؟ يعرضان بغلمان القاضي! إنما نحن في حضورنا كبعض الشهود والأمر إليه في إمضاء الأحكام؛ وإنا لنشاهد ما لا يتسع لنا الكلام فيه. فقال: كفيتما أيها القضاة. وانصرفا وقد انفتح له باب الحيلة في صرف القاضي وتولية أبي محمد اليازوري.
واتفق مع ذلك توعك أبي محمد وانقطاعه أياما في داره عن مجلس الخليفة، فخلا له وجه السلطان وأعاد عليه النوبة، ثم قال له: أنت يا أمير المؤمنين لسان الشرع، ومقيم مناره، ومنفذ أحكامه؛ وقاضي القضاة إنما ينطق بلسانك، وينفذ الأحكام عنك؛ فإذا اشتهر في الأقطار ما يتم على الناس في أحكامهم كان سوء السمعة في ذلك على الدولة، وإثارة الشناعة القبيحة عليها؛ وفي الخصوم من هو من المشرق والمغرب واليمن وما وراءه، والروم؛ وفي استفاضة ذلك غضاضة على الدولة. ونحن إنما نطول على الممالك والدول بإقامة سنن الشريعة وإظهار العدل الذي عفت آثاره في غيرها من الدول؛ وقد كبر قاضي القضاة واستولى عليه غلمانه وغلبوا على أمره. فقال المستنصر: نحن نحفظ فيه خدمة سلفه لنا ومهاجرتهم معنا. فقال: يا أمير المؤمنين، حفظك الله وشكرك؛ أما كان من كرامة سلفه أن يستتر حتى لا يشيع هذا عنه؟ وما زال حتى قال الخليفة: من في الدولة يجري مجراه؟ فقال: يا أمير المؤمنين: عبيدك كثير، ومع ذلك فبين يديك من يتحمل