الوراقون له ومنهم من قصته عنده أغلظ من هذا وقد كان رحمه الله من أهل الدين والصلاح والخير البارع وشديد التوقي لكن للحديث فألف بعده قال عباد بن العوام ليس ينكر عليه أنه لم يسمع ولكنه كان رجلا موسرا وكان الوراقون يكتبون له فنراه أتي من كتبه التي كتبوها وقال وكيع ما زلنا نعرفه بالخير فقال له خلف بن سالم أنه يغلط في أحاديث قال دعوا الغلط وخذوا الصحاح فإنا ما زلنا نعرفه بالخير وقال عفان قد مت أنا وبهز واسط فدخلنا على علي بن عاصم فقال من بقي من أهل البصرة فلم نذكر له إنسانا الا استصغره فقال بهز ما أرى هذا يفلح وقال أحمد بن إبراهيم بن حرب سمعت علي بن عاصم يقول أعطاني أبي مائة ألف درهم فأتيته بمائة ألف حديث قال وكنت أردف هشيم بن بشر خلفي ليسمع معي وقال عبد الله بن أحمد عن أبيه كان يغلط ويخطىء وكان فيه لجاج ولم يكن متهما بالكذب
وقال الذهلي قلت لأحمد في علي بن عاصم وذكرت له خطأه فقال أحمد كان حماد بن سلمة يخطىء وأومى أحمد بيده خطأ كبيرا ولم ير بالرواية عنه بأسا وقال بن المديني كان كثير الغلط وكان إذا غلط فرد عليه لم يرجع وقال بلغني أن ابنه قال له هب لي من حديثك عشرين حديثا فأبى قال يعقوب بن شيبة يعني مما أنكر عليه الناس وقال بن المديني أيضا أتيته بواسط فذكرت جريرا فقال لقد رأيته ناعسا ما يعقل ما يقال له ومر ذكر أبي عوانة فقال وضاع ذاك العبد ومر ذكر بن علية فقال ما رأيته يطلب حديثا قط وذكر شعبة فقال ذاك المسكين كنت أكلم له خالد الحذاء حتى يحدثه وقال صالح بن محمد ليس هو عندي ممن يكذب ولكن يهم وهو سيء