يخرج بشيء منها عن موجب الفقه. وكان أبوه يحيى بن خالد قد ضمه إلى أبي يوسف القاضي حتى علمه وفقهه. وغضب الرشيد عليه في آخر عمره فقتله، ونكب البرامكة لأجله.
كان أبو علقمة الدمشقي - صاحب الغريب - عند جعفر بن يحيى في بعض لياليه التي يسمر فيها، فأقبلت خنفساءة إلى أبي علقمة فقال: أليس يقال إن الخنفساء إذا أقبلت إلى الرجل أصاب خيراً! قالوا: بلى، قال جعفر بن يحيى: يا غلام، أعطه ألف دينار، قال: فنحوها عنه فعادت إليه، فقال: يا غلام، أعطه ألف دينار، فأعطاه ألفي دينار.
خرج عبد الملك بن صالح مشيعاً لجعفر بن يحيى البرمكي، فعرض عليه حاجاته فقال له: قصارى كل مشيع الرجوع، وأريد أعز الله الأمير أن تكون لي كما قال بطحاء العذري:
وكوني على الواشين لداء شغبة ... فإني على الواشي ألد شغوب
فقال جعفر: بل أكون لك كما قال جميل:
وإذا الواشي وشى يوما بها ... نفع الواشي بما جاء يضر
كان أحمد بن الجنيد الإسكافي أخص الناس بجعفر بن يحيى، فكان الناس يقصدونه في حوائجهم إلى جعفر، فكثرت رقاع الناس في خف أحمد بن الجنيد، ولم يزل كذلك إلى أن تهيأ
له الخلوة بجعفر فقال له: قد كثرت رقاع الناس معي وأشغالك كثيرة وأنت اليوم خال، فإن رأيت أن تنظر فيها. فقال له جعفر: على أن تقيم عندي اليوم، فقال له أحمد: نعم، فصرف دوابه، فلما تغدوا جاءه بالرقاع، فقال له جعفر: هذا وقت ذا؟! دعنا اليوم، فأمسك عنه أحمد، وانصرف في ذلك اليوم ولم ينظر في الرقاع. فلما كان بعد أيام خلا به فأذكره الرقاع فقال: نعم، على أن تقيم عندي اليوم، فأقام عنده ففعل به مثل الفعل الأول، حتى فعل به ثلاثا، فلما كان في آخر يوم أذكره فقال: دعني الساعة وناما، فانتبه جعفر قبل أحمد فقال لخادم له: اذهب إلى خف أحمد بن الجنيد فجئني بكل رقعة فيه، وانظر لا تعلم أحمد، فذهب الخادم وجاء