كان يجالس إبراهيم في حداثته ويحفظ عنه فلما دخل مصر في آخر عمره وأخذ يصنف الكتب أحتاج إلى الأخبار ولم تكن كتبه معه فأكثر ما أودع الكتب من حفظه وربما كنى عن اسمه. وقال العقيلي قال إبراهيم ابن سعد كنا نسمي إبراهيم بن أبي يحيى ونحن نطلب الحديث: "خرافة", وقال سفيان بن عيينة: "احذروه ولا تجالسوه" وقال أبو همام السكوني سمعت إبراهيم بن أبي يحيى يشتم بعض السلف وقال عبد الغني بن سعيد المصري هو إبراهيم بن محمد بن أبي عطاء الذي حدث عنه ابن جريج وهو عبد الوهاب الذي يحدث عنه مروان بن معاوية وهو أبو الذئب الذي يحدث عنه ابن جريج وقال يعقوب بن سفيان: "متروك الحديث" وقال ابن سعد: "كان كثير الحديث ترك حديثه ليس يكتب", وقال الحاكم أبو أحمد: "ذاهب الحديث" وقال أبو زرعة: "ليس بشيء" وقال ابن المبارك: "كان صاحب تدليس" وقال عبد الرزاق: "ناظرته فإذا هو معتزلي فلم أكتب عنه" وقال العجلي: "كان قدريا معتزليا رافضيا وكان من أحفظ الناس وكان قد سمع علما كثيرا وقرابة كلهم ثقات وهو غير ثقة" ثم نقل عن ابن المبارك: كان مجاهرا بالقدر وكان صاحب تدليس عن عبد الوهاب بن موسى الزهري قال لي إسماعيل بن عيسى العباسي وكان من أورع من رأيت قال لي إبراهيم بن أبي يحيى غلامك خير من أبي بكر وعمرو في سؤلات الآجري أبا داود عنه: "كان رافضيا شتاما مأبونا١" وقال البزار:

١ - قال صاحب القاموس يقال أبنه بشيء يأبنه اتهمه فهو مأبون بخير أو شر فإن أطلقت فقلت مأبون فهو للشر ١٢ أبو الحسن المصحح