حافظ ابن عبدالبرّ مى‌گويد: هنگامى كه معاويه مى‌خواست براى يزيد بيعت بگيرد، خطبه‌اى براى مردم شام خواند و گفت: اى مردم! من ديگر پير شده‌ام و سن من بالا رفته است. به اين فكر افتادم كه سرپرستى شما را بعد از خودم به كسى بسپارم كه بتواند وحدت شما را حفظ كند و حكومت را اداره نمايد. من نيز فردى مثل شما هستم، پس رأى و نظر خودتان را در اين باره بگوييد.

همه مردم به اتّفاق گفتند: ما عبدالرحمان بن خالد را به جانشينى شما انتخاب مى‌نماييم.

رأى و نظر مردم براى معاويه بسيار سنگين و گران تمام شد. او ناراحتى خود را از اين موضوع مخفى كرد تا اين‌كه عبدالرحمان بيمار شد و معاويه طبيبى يهودى براى معالجه او فرستاد كه اين طبيب نزد معاويه جايگاه خاصّى داشت. معاويه به طبيب يهودى دستور داد تا در داروى تجويز شده جهت مداواى عبدالرحمان سمّى كشنده قرار دهد تا او بميرد، امّا در ميان مردم گفته شود كه عبدالرحمان بر اثر بيمارى درگذشته است.

طبيب يهودى طبق دستور معاويه عمل كرد و نقشه را عملى ساخت. در اثر اين دارو، در معده و روده‌هاى عبدالرحمان مشكلى پديد آمد كه به مرگ او انجاميد.[١]

ابن عبدالبرّ در ادامه نقل داستان مى‌افزايد:

[١] -« إنّه لمّا أراد معاوية البيعة ليزيد خطب أهل الشام وقال لهم: يا أهل الشام! إنّه قد كبرت سنّي وقرب أجلي، وقد أردت أن أعقد لرجل يكون نظاماً لكم، وإنّما أنا رجل منكم، فأروا رأيكم.

فأصفقوا واجتمعوا وقالوا: رضينا عبدالرحمان بن خالد.

فشقّ ذلك على معاوية وأسرّها في نفسه. ثمّ إنّ عبدالرحمان مرض، فأمر معاوية طبيباً عنده يهودياً- وكان عنده مكيناً- أن يأتيه فيسقيه سقيةً يقتله بها. فأتاه فسقاه، فانخرق بطنه فمات»؛ الاستيعاب: ٢/ ٨٢٩