ثم انتقل بتلطفه وكثرة مداخلته إلى خدمة السيدة أم المستنصر، فتقرب بخدمتها، ولازم بابها عندما صرف عن الحكم بفلسطين يسأل عوده إلى وطنه وخدمته فيها؛ وهو مع ذلك يواصل الوزير الفلاحي ويؤانسه، فيبدأه بما في نفسه من أبي سعيد التستري، فيفاوضه في التدبير على المذكور، ويفتح له من العمل عليه ما يظهر له صوابه. فثقل مكانه على أبي منذر لقربه من أم المستنصر ولمما لأنه الوزير الفلاحي؛ وهم به، ثم تراخى عنه، حتى كان من أمره ما كان؛ وأمر اليازوري في كل يوم يتزايد وحاله يقوى. إلا أن قاضي القضاة وداعي الدعاة قاسم بن تاميلا كان يمتنع من رد الحكم إليه ببلده، لما يعلم من سوء رأي أبي سعيد فيه، وأنه يريد القبض عليه؛ فكان ينحرف عنه ولا يلتفت إليه.
واتفق أن حضر قاضي القضاة ذات يوم بباب البحر من القصر، على عادته في كل يوم اثنين، لتقبيل الأرض والسلام أو خروج السلام عليه، ويجلس معه من الشهود من جرى رسمه بذلك. فلما جلس بباب البحر وخليفتاه القضاعي وابن أبي زكرى والشهود دخل أبو محمد اليازوري وجلس معهم؛ فقال له قاضي القضاة: بأمر من جلست ههنا! أتظن أن المجالس كلها مبذولة لكل أحد أن يجلس فيها؟ هذا مجلس لا يجلس فيه إلا من أذنت له حضرة الإمامة وشرفته به؛ اخرج، فوالله لا تضرفت على أيامي أبدا. فخرج ورجلاه لا تكادان تحملانه، فوقف بباب البحر إلى أن خرج قاضي القضاة، فسار وخليفتاه والشهود معه، فسار في أعقابهم، وسبقهم ووقف بباب دار القاضي؛ فلما نزل صنع له استعطافا، فلم يعره طرفه وانصرف. فلقيه القضاعي وقال: يا أبا محمد، كان يجب ألا تريه وجهك عقب ما جرى لك معه. وفارقه. فلقيه ابن زكرى وخطابه بجفاء. فرد إلى داره مغموماً، فوجد ثلاثين حملاً من تفاح قد وصلت إليه من ضياعه لتباع بمصر، فأنفذ منها خمسة أحمال إلى الوزير، ولقاضي القضاة خمسة أحمال، وللقائد الأجل عدة الدولة رفق خمسة أحمال، ولمعز الدولة معضاد خمسة أحمال، ولابن أبي زكريا ثلاثة أحمال، وللقضاعي