عليها ثلث عشرة سنة واستقام أمره إلى أن وقع بينه وبين علي بن متويه زاهد البلد . : وولي بعده القضاء الوليد ابن أبي داود .
قال أبو عبد الله بن خفيف : قال ابن أبي عاصم صحبت أبا تراب فكان يقول كم تشقى لا يجئ منك إلا قاضي . وكان بعدما دخل في القضاء إذا سئل عن الصوفية يقول القضاء والدنية والكلام في علم الصوفية محال .
سبب عزله عن القضاء : - قال الذهبي في السير [١] : قال أبو الشيخ : كثرت الشهود في أيامه واستقام أمره إلى أن وقع بينه وبين علي بن متويه وكان صديقه طول أيامه ، فاتفق أنه صار إلى ابن متويه قوم من المرابطين ، فشكوا إليه خراب الرباطات وتأخر الأجراء عنهم فاحتد على متويه فذكر ابن أبي عاصم حتى قال إنه لا يحسن يقوم سورة " الحمد " فبلغ الخبر ابن أبي عاصم فتغافل عنه إلى أن حضر الشهود عنده فاستدرجهم وقرأ عليهم سورة " الحمد " فقومها ثم ذكر ما فيها من التفسير والمعاني ثم أقبل عليهم فقال هل ارتضيتم ؟ قالوا : بلى . قال : فمن زعم أني لا أحسن تقويم سورة " الحمد " فكيف هو عندكم ؟ قالوا : كذاب ، ولم يعرفوا قصده ، فحجر ابن أبي عاصم على علي ابن متويه لهذا السبب . فماج الناس واجتمعوا على باب أبي ليلى يعني الحارث بن عبد العزيز وكان خليفة أخيه عمر بن عبد العزيز على البلد ، وذلك سنة إحدى وثمانين ومائتين فأكرهه أبو ليلى على فسخه ففسخه ثم ضعف بصره ، فورد صرفه .

[١] السير ١٣ / ٤٣٤ .