صمّم على قبول استعفائه لا لاعتقاده ما أشيع بل لأن مصطفى بن إسماعيل غير متداخل في الإدارة بما يرضيه ، لأن الوزير ممانع له لما يراه من تصرفاته حسبما يأتي إن شاء الله في المطلب الثامن ، وعلم أن الحامل للوالي هو ما ذكر بما صرح به مصطفى بن إسماعيل عند ولايته ، فإنه قال ما معناه : لو أن الوزير خير الدين ساعفني لما خرج عن الوزارة ، فلما ذكر أجاب الوالي الوزير خير الدين بسؤاله عن رأيه في النازلة ، فأجابه بأن رأيه ما ذكره ، فقال أعد عليّ الكلام يوم السبت عند اجتماع الوزراء بعد الإشارة إلى أن أوداءه خانوه بما أوقعه في تلك الحال ، وذلك مما يؤيد القول بأن الوشايات لم يصدقها حقيقة وأن يريد تغيير الصدور بينه وبين أحبته ، فاجتمع الوزير خير الدين بالوزراء والمستشارين قبل الدخول على الوالي وقص عليهم الخبر مما كان ذكره لهم فرادى ومجتمعين ، وكان مآل كلامهم أن الأولى به تحمل المشقة وعدم فتح باب الكلام في الإستعفاء ، وقال الوزير محمد الذي تولى بعده وكان معلوما عند جميع الناس أنه هو الذي يتولى بإشاعة المعرض المتقدم ذكره واتباعه ، بأن لهم اتفاقا مع الوزير محمد على ولايته وأبلغوا للوالي رضاه بذلك وكان علي ابن الزي صاحب مصطفى بن إسماعيل الخاص كثير التردد على جهات مسكن الوزير محمد ليظهر للناس صدق الدعوى ، فقال الوزير محمد للوزير خير الدين : أما أنا فإني لا أتولى مكانك ولو دقت عظامي ولكني أخدم مع كل من يوليه الوالي ، كذا شاع وحمل كلامه ذلك على تكذيب ما شاع عنه ولما دخلوا على الوالي أعاد الوزير خير الدين الكلام في الإستعفاء على نحو ما مر فأجابه الوالي بأنه هو أبو عائلة وقد حصل له التعب ومحتاج للراحة فيأمره ببقائه مرتاحا في محله ، فرجع لبستانه بقرطاجنه وكان ذلك في رجب سنة ١٢٩٤ ه‌ ، ومنع الوالي المتوظفين من الاجتماع بالوزير خير الدين حتى خواص أحبائه بل وأتباعه الذين على أيديهم متعلقات كسبه ، إلى أن خرج من القطر للآستانة ولم يعمل حسابه معهم.

وفي عشية يوم انفصاله عن الوزارة تذاكر بعض رؤساء المتوظفين في زيارة الوزير المذكور وذكر أحدهم ممن أبلغ إليه النهي بواسطة أنه عازم على زيارته تلك العشية متغافلا عما بلغه ، فحذره الحاضرون من الوزراء والمستشارين من وقوع ذلك قبل الإستشارة وأنهم هم في أنفسهم عازمون على مثل ذلك ، وإنما علقوه على استشارة الوزير الجديد فلما استأذنوه أحالهم على إذن الوالي ولما استأذنوه أعلن بالمنع ، وجعلت عيون على كل من يقدم إليه فبقي منفردا وتكاثرت الأقوال في الخوف عليه ، ونازلة الشهيدين إسماعيل السيني ورشيد لم تبرح من البال ، وكان هو متجلدا متغافلا عما يظهر إليه من الغضب وطلب مواجهة الوالي لمجرد الزيارة فاضطرب في أمره ثم أذن له في وقت خاص ، ووقع بين الوالي وقنسل الفرنسيس كلام سأل فيه القنسل الوالي عن سبب خروج الوزير خير الدين عن الوزارة ، فأجابه : بأن خروجه ليس كخروج الوزير السابق ، لأن الوزير السابق ارتكب ما يشين العرض ، وأما خير الدين فلا سبب لخروجه إلا الخلاف السياسي الواقع بيني وبينه وأنت تعرفه ، وهو إشارته إلى ميل الوزير للدولة العلية لأن الوالي كان تحقق لوم قنصل