ولما تنقل الشيخ الشاذلي المذكور إلى خطة الفتيا أبي المشي خلفه اعتماداً على خطة الإفتاء، وعظم الخلاف بين الخليفة ونائبه بسبب ذلك، فبلغ أمرهما إلى الأمير مصطفى باشأن فأرسل قاضيه وكاتب سره للمصالحة بينهما مع المحافظة على ترتيب الجامع في تقديم الخليفة على الإمام الثالث وحسنت العلاقة بينهمأن واستمرا على ذلك إلى أن توفي الإمام الأكبر الشريف فرأى المشير الأول احمد باشا تعين تقديم عالم العصر الشيخ إبراهيم الرياحي إلى إمامة الجامع، ولم يأنف من ذلك صاحب الترجمة لحسن إنصافه وعلمه بكمال رتبة الشيخ إبراهيم، بل إن ذلك لم يزدهما إلا تآلفأن وكثيراً ما يقدمه الشيخ إبراهيم على نفسه ويرغب مع ذلك نائبه الشيخ الشاذلي في صفر الخير سنة ١٢٦٣ ثلاث وستين تقدم الشيخ "محمد البنا" نائباً عن الخليفة المذكور، ثم لما توفي الشيخ إبراهيم الرياحي قدمه المشير الأول أحمد باشا إلى الإمامة الكبرى في التاسع والعشرين من شهر رمضان المعظم سنة ست وستين ومائتين وألف وأولى خليفته الشيخ أبا عبد الله محمد البنأن وقدم للنيابة شيخ الختمة العالم المجود "الشيخ احمد القروي" بعد أن كان كثير النيابة عمن قبله عند عروض الأعذار، وكان في الثلاثة الأشهر المعظمة يجلس على الختمة لتجويد القرآن بعد صلاة الظهر، وبعد الفراغ يحضر مجلس الأيمة لرواية الشفأن وأقام الصبح والعشاءين مدة مديدة من قبل ولايته النيابة بإذن من الأمير.
وقام هذا الإمام الشريف بخطة الإمامة الكبرى بجامع الزيتونة احسن قيام، وكان معتقداً للخاص والعام، فاضلاً كريمأن عزيز النفس، عالي الهمة، مهاباً معظمأن غيورأن أولاه المشير الثاني محمد باشا وكالة زاوية السيد أبي زمعة الصحابي بالقيروان، فحاسب من كان قبله وأنتخت المحاسبة نيفاً وسبعين ألفأن أستأذن فيها الأمير، فامتنع الأمير من التداخل فيها وفوض أمرها إليه يفعل بها ما شاء من أكلهأن والتصدق بهأن أو ما يظهر له، فبادر واشترى بجميعها زياتين بمرناق ودياراً بتونس، وأوقفها على الزاوية، ولما جمع المشير الثالث الزاوية على لسان الأمير، فأنكر ذلك وتغير له، وقال له: إنه إذا عزلني عن الزاوية المذكورة فإني (نخرج من البلد) وبمجرد بلوغ خبر ذلك للأمير أرسل إليه مع لسان الدولة يعلمه بان المحتسب المذكور أتاه من قبل نفسه لا بإذن، وأنه كيف يعزل شيخه الذي أخذ عنه الطريقة التجانية، وغنما يرجو رضاه، وعند ذلك سكن غضب الشيخ ودعا للأمير بخير، ومن الغد قدم إليه لسان الدولة المذكور بسبحة من عنبر وثلاثة آلاف ريال، وأمر في تمليكه هنشير الديوان قرب مرناق جلباً لخاطره، نال منه بذلك الدعاء الجميل، أدركته رضى الله عنه على هرمه لا يتخلف عن الرواية في الشهر الثلاثة مع ضعف بصره، وكان مع ذلك ينسخ صحيح البخاري بخط يده بأحرف كبيرة تساعده على القراءة، ويصلي الظهر والعصر، ويخطب في الجمعة والعيدين والناس يتبركون بأذياله إلى أن عجز، فصار إنما يحضر الجامع بحسب مقدرته، وهو الذي جعل لسائر أبواب بيت الصلاة مراتج من بلور وقاية من الريح والبرد فأحسن بذلك للمصلين والمدرسين.
ومن ورعه نعمه الله انه لما ورد ماء زغوان إلى الحاضرة ومروا به على ميضاة الجامع بعد أن ادخل إلى بعض ميضاوات غيره من الجوامع امتنع الشيخ من إدخاله إلى ميضاة الجامع كما يذكر فيه من الشبهة نظراً لاستحقاق أهل البلد الذي فيه منبع الماء.
وقد كان له ثلاثة أبناء وهم الشيخ (الطاهر) والشيخ (مصطفى) والشيخ (عبد الرحمن) توفي أولهم أولاً وتلقى الشيخ مصيبته بالصبر وتوفي ثانيهم ليلة الثلاثاء الثالث من ذي العقدة الحرام سنة ١٢٨٤ أربع وثمانين ومائتين وألف، وصبر لذلك أيضاً غير أنهما خلفا له محمدين حفيدين له، رضي الله عنهم أجمعين.
ثم توالى عليه الهرم والمرض واشتاق إلى لقاء الرحمن، فأدركته المنية وله من العمر سبع وثمانون سنة وتوفي عشية الجمعة السادس عشر من رمضان المعظم سنة أربع وثمانين ومائتين وألف وتبرك الأمير والمأمور بحضور جنازته وصلى عليه الشيخ (علي العفيف) أمام باب البهور بجامع الزيتونة بوصايته عليه رحمة الله وقد رثاه الأكتب الشيخ المختار شويخة بقوله: [البسيط]
ورد المنايا على الأيام مورودُ ... وشربها المضّ بين الخلق مقصود