خراسان بعد ولاية الفضل، فقال الرشيد لجعفر: أين كانت هذه أيام أخيك قال: في منازل أربابها.
وبلغ الرشيد أن يهودياً ينجم بحكم في عمره ويقرب وقتاً، فأحضره وسأله عما قال فقال: استدللت من النجوم بكذا وكذا، ودخل جعفر فرأى غم الرشيد فقال له: أتحب أن يخرج هذا من صدرك قال: نعم، قال: سله عن عمره فإنه بالمعرفة به أولى به من غيره، قال: فسأله عن ذلك فقال: هو كذا وكذا، فقال جعفر: اضرب الآن عنقه لتعلم خطأه في عمرك وعمره.
فيحكى أن الرشيد تغير عليه في آخر الأمر وكان سبب ذلك أن الرشيد كان لا يصبر عن جعفر وعن أخته هباسة بنت المهدي وكان يحضرهما إذا جلس للشرب فقال لجعفر: أزوجكما ليحل لك النظر غليها ولا تقربها فإني لا أطبق الصبر عنكما، فأجابه إلى ذلك، فزوجها منه، وكانا يحضران معه ثم يقوم عنهما وهما شابان، فجامعها جعفر فحملت منه فولدت له غلاما، فخاف الرشيد فسير به مع حواضن إلى مكة، واعطته الجواهر والنفقات. ثم إن عباسة وقع بينها وبين بعض جواريها شر، فأنهت أمرها إلى الرشيد، فحج هارون سنة١٨٦ وبحث عن الأمر فعلمه، وكان جعفر يصنع للرشيد طعاماً بعسفان إذا حج، فصنع ذلك الطعام ودعاه فلم يحضر عنده، وكان ذلك أول تغير أمرهم.
وقيل كان سبب ذلك ... من أمره ما كان.
وقيل من الأسباب أن جعفراً بنى داراً غرم عليها عشرين ألف درهم فرفع ذلك إلى الرشيد وقيل: هذه غرامة في دار فما ظنك بنفقاته وصلاته وغير ذلك فاستعظمه.
وحكي أن جعفر بن يحيى لما عزم على الانتقال إلى قصره هذا جمع المنجمين لاختيار وقت ينتقل فيه اليه فاختاروا له وقتا من الليل، فلما حضر الوقت خرج على حمار من الموضع الذي كان منزله إلى قصره والطرق خالية والناس هادئون، فلما صار إلى سوق يحيى رأى رجلاً قائما وهو يقول:
يدبر بالنجوم وليس يدري ... ورب النجم يفعل ما يريد فاستوحش ووقف ودعا بالرجل فقال له: أعد علي ما قلت، فأعاده فقال: