وقال يحيى بن حسّان: رأيت مع قوم جزءاً سمعوه من ابن لهيعة، فنظرت فيه، فإذا هو ليس من حديثه، فجئت إليه فقال: ما أصنع (يجيئون بكتاب فيقولون هذا حديثك، فأحدثهم) .
وقال ابن شاهين: قال أحمد بن صالح: ابن لهيعة ثقة، وما رُوي عنه من الأحاديث فيها تخليط يطرح ذلك التخليط. وقال الحاكم: لم يقصد الكذب، وإنما حدَّث من حفظه بعد احتراق كتبه فأخطأ.
وقال ابن حِبانك سَبَرْتُ أخباره، فرأيته يدلّس عن قوم ضعفاء، على أقوام ثقات قد رآهم ثم كان لا يبالي، ما دفع إليه قرأه، سواء أكان من حديثه أم لم يكن من حديثه، فوجَب الشك في رواية مَن حدث عنه قبل احتراق كتبه، لما فيها من التدليس، ووجب ترك الاحتجاج برواية المتأخرين بعد احتراق كبته، لما فيها مما ليس من حديثه.
وقال الخطيب عن ابن خراش: احترقت كتبه فكان من جاء بشيء قرأه عليه، حتى لو وضع أحد حديثاً وجاء به إليه قرأه عليه. قال الخطيب: فمن ثم كثر الشاكون في روايته لتساهله.
وقال أبو عمر الكندي: قال أبو الأسود النضر بن عبد الجبار: سمعت ابن لهيعة يقول: كنت ربما أتيت يزيد بن أبي حبيب فيقول لي: كأني بك قد قَعَدت على الوسائد. يعني وسائد القضاء. فما مات حتى ولي القضاء.
وكانت ولايته من قبل أبي جعفر المنصور في سنة خمس وخمسين ومائة. وذكر سعيد بن عفير، أن وفد أهل مصر كانوا ببغداد فقال لهم المستنصر: أعظم الله أجركم في قاضيكم أبي خزيمة. ثم التفت إلى الربيع فقال: ابعث إلى أهل مصر
قاضياً؟ فقال عبد الله بن عبد الرحمن حُديج: ماذا أردت بنا يا أمير المؤمنين؟ أتريد أن تُشَهِّرنا في الأمصار بأن بلدنا ليس فيه من يصلح للقضاء، حتى تُولي علينا من غيرنا. قال: فَسَمِّ رجلاً. فسمَّي له أبا معدان اليَحْصُبي، وقال في وصفه: إنه يختار ولكن به صَمَم. قال: يصلح للقضاء مَن به صَمَم؟ قلت