قال مسعود أخو ذي الرمة: كنا بالبدو، فحضرت ذا الرمة الوفاة فقال: احملوني إلى الماء يصل علي أهل الإسلام، فحملناه على باب، فأغفى إغفاءةٌ ثم انتبه فنقر الباب فقال: مسعود! قلت لبيك، قال: هذا والله الحق المبين لا حين أقول: من الطويل
عشية مالي حيلةٌ غير أنني ... بلقط الحصى والخط في الدار مولع
كأن سناناً فارسيا أصابني ... على كبدي بل لوعة الحب أوجع
دخل رجلٌ على ذي الرمة وهو يجود بنفسه فقال كيف تجدك يا غيلان؟ قال: أجدني أجد مالا أجد أيام أزعم أني أجد فأقول: من الطويل
كأني غداة البين يا مي مدنف ... يجود بنفسٍ قد أتاها حمامها
زاد في آخر، بمعناه ثم قال: اللهم إني لا قوي فأنتصر، ولا برئ فأعتذر، ولكن لا إله إلا أنت. ثم مات.
قال الأصمعي: مات ذو الرمة عطشاناً، وأتى بالماء وبه رمق فلم ينتفع به، فكان آخر ما تكلم به قوله: من البسيط
يا مخرج الروم من نفسي إذا احتضرت ... وفارج الكرب رحزحني عن النار
بلغ ذو الرمة أربعين سنة، وتوفي وهو خارجٌ إلى هشام بن عبد الملك، فدهن بحزوى، وهي الرملة التي كان يذكرها في شعره.