جعفر بإزلتها، فقال أبو عبيد: دعوها عسى يأتين بقصدها لي خير، فإنهم يزعمون ذلك، فأمر له جعفر بألف دينار وقال: نحقق زعمهم، وأمر بتنحيتها، ثم قصدته ثانياً فأمر له بألف دينار أخرى.
وحكي ابن القادسي في أخبار الوزراء أن جعفراً اشترى جارية بأربعين ألف دينار، فقالت لبائعها: اذكر ما عاهدتني عليه أنك لا تأكل لي ثمناً فبكى مولاها وقال: اشهدوا أنها حرة وقد تزوجتها، فوهب له جعفر المال ولم يأخذ منه شيئاً، وأخبار كرمه كثيرة، وكان أبلغ أهل بيته.
وأول من وزر من آل برمك خالد بن برمك لأبي العباس عبد الله السفاح بعد قتل أبي سلمة حفص الخلال - كما سيأتي في ترجمته في حرف الحاء إن شاء الله تعالى - ولم يزل خالد على وزارته حتى توفي السفاح يوم الأحد لثلاث عشرة ليلة خلت من ذي الحجة سنة ست وثلاثين ومائة، وتولي أخوه أبو جعفر عبد الله المنصور الخلافة في اليوم المذكور، فأقر خالداً على وزارته، فبقي سنة وشهوراً،. وكان أبو أيوب المرياني قد غلب على المنصور فاحتال على خالد بأن ذكر للمنصور تغلب الأكراد على فارس، وأن لا يكفيه أمرها سوى خالد فندبه إليها، فلما بعد خالد عن الحضرة استبد أبو أيوب بالأمر. وكانت وفاة خالد سنة ثلاث وستين ومائة، ذكره ابن القادسي، وقال ابن عساكر في تاريخ دمشق: ولد خالد في سنة تسعين للهجرة، وتوفي سنة خمس وستين ومائة، والله أعلم.
وكان جعفر متمكناً عند الرشيد، غالباً على أمره، واصلاً منه، وبلغ من علو المرتبة عنده ما لم يبلغه سواه، حتى إن الرشيد اتخذ ثوباً له زيقان، فكان يلبسه هو وجعفر جملة، ولم يكن للرشيد صبر عنه، وكان الرشيد أيضاً شديد المحبة لأخته ابنة المهدي، وهي من أعز النساء عليه، ولا يقدر على مفارقتها، فكان متى غاب أحد من جعفر والعباسة لا يتم له سرور، فقال: يا جعفر، إنه لا يتم لي سرور إلا بك وبالعباسة، وإني سأزوجها منك ليحل لكما أن تجتمعا، ولكن إياكما أن تجتمعا وأنا دونكما، فتزوجها على هذا الشرط.
ثم تغير الرشيد عليه وعلى البرامكة كلهم آخر الأمر ونكبهم وقتل