وحكي أنه كتب أبياتا قبل موته يخاطب الرّشيد:
سينقطع التّلذذ عن أناس ... أداموه وتنقطع الهموم
ستعلم في الحساب إذا التقينا ... غدا عند الإله من الظّلوم
ألا يا بائعا دينا بدنيا ... غرورا لا يدوم لها نعيم
تخلّ من الذّنوب فأنت منها ... على أن لست ذا سقم سقيم
تنام ولم تنم عنك المنايا ... تنبّه للمنيّة يا نؤوم
تروم الخلد في دار التّفاني ... وكم قد رام قبلك ما تروم
إلى ديّان يوم الدّين نمضي ... وعند الله تجتمع الخصوم
ولم يزل يحيى بن خالد وابنه الفضل في الرافقة- وهي الرّقّة القديمة المجاورة للرّقّة الجديدة، وهي البلد المشهورة الآن على شاطئ الفرات، ويقال: لهما الرّقّتان تغليبا كالعمرين- في حبس الرّشيد إلى أن مات يحيى في الثالث من المحرم سنة تسعين وهو ابن سبعين سنة، وصلّى عليه ابنه الفضل بن يحيى ودفن في شاطئ الفرات في ربض هرثمة، ووجد في جيبه رقعة فيها مكتوب بخطه: قد تقدم الخصم والمدّعي عليه في الأثر، والقاضي هو الحكم العدل الذي لا يجور ولا يحتاج إلى بيّنة، ولما قرأ الرّشيد الرقعة بكى يومه كله، واستمر أياما يتبيّن الأسى في وجهه، ونام يحيى فمات فجأة، فقال الرّشيد: اليوم مات عاقل النّاس.
وقال يحيى بن أكثم: سمعت المأمون يقول: لم يكن ليحيى بن خالد ولولده أحد في الكفاية، والبلاغة، والجود، والشجاعة. انتهى.