يحيا له قال: بحياتي، فوجم وأحجم وقال لا وحياتك أطلقته حيث علمت أن لا سوء عنده، قال نعم الفعل وما عددت ما في نفسي، فلما نهض جعفر اتبعه بصره، قال قتلني الله إن لم أقتلك، وقيل: ما كان من البرامكة جناية توجب غضب الرشيد، ولكن طالت أيامهم وكل طويل مملول، ولقد استطال الناس الذي هم خير الناس أيام عمر بن الخطاب وما رأوا مثلها عدلاً وأماناً وسعة أموال وفتوح، وأيام عثمان فقتلوهما، ورأى الرشيد مع ذلك أنس النعمة بهم، وكثرة حمد الناس لهم، وآمالهم فيهم، ونظرهم إليهم دونه، او كما قيل وللملوك تنافس بأقل من هذا، فتعنت عليهم، وتجنى، وطلب مساويهم، ووقع منهم بعض الإزلال خصوصاً جعفر والفضل دون يحيى فإنه أحكم خبرة وأكثر ممارسة للأمور، ولاز بهم قوم من أعدائهم بالرشيد كالفضل بن الربيع وغيره فستروا منهم المحاسن وأظهروا القبائح حتى كان ما كان، وكان الرشيد بعد ذلك إذا ذكروا عنده بسوء أنشد ما معناه وغالب ألفاظه هذا:
أقول ملا ما لا أبا لأبيكم ... عن القوم أو سدوا المكان الذي سدوا
وقيل السبب أنه رفعت إلى الرشيد قصة لم يعرف رافعها، وفيها هذه الأبيات:
قل لأمين الله في أرضه ... ومن إليه الحل والعقد
هذا ابن يحيى قد غدا ملكاً ... مثلك، وما بينكما حسد
أمرك مردود إلى أمره ... وأمره ليس له رد
وقد بنى الدار التي ما بنى ... الفرس لها مثلا ولا الهند
الدر والياقوت حصباؤها ... وتربها العنبر والند
ونحن نخشى أنه وارث ... ملكك إن غيبك اللحد
ولن يباهي العبد أربابه ... إلا إذا ما بطر العبد
فوقف الرشيد عليها، وأضمر له السوء. وحكى بعضهم أن علية بنت المهدي قالت للرشيد بعد ايقاعه بالبرامكة: يا سيدي ما رأيت لك يوماً سروراً تاماً منذ قتلت جعفراً، فلأي شيء قتلته؟ فقال لها: لو علمت أن قميصي يعلم السبب في ذلك لمزقته. وقال السندي بن شاهك: كنت ليلة نائماً في غرفة الشرطة في الجانب الغربي، فرأيت في منامي جعفر بن يحيى واقفاً بإزائي، وعليه ثوب مصبوغ بالعصفر وهو ينشد:
كأن لم يكن بين الحجون إلى الصفا ... أنيس ولم يسمر بمكة سامر
بلى نحن كنا أهلها وأبا دنا ... صروف الليالي واللحود العواثر