وفي رواية : لما بويع لأبى بكر بالخلافة عزل خالد بن سعيد وطلبه إلى المدينة .
وفي خبر : لم يزل خالد وأخواه عمرو وأبان على أعمالهم التي استعملهم عليها رسول الله صلى الله عليه وآله حتى توفى رسول الله صلى الله عليه وآله ، فلما توفى ، رجعوا عن أعمالهم ، فقال لهم أبو بكر : ما لكم رجعتم ؟ ما أحد أحق بكم بالعمل من عمال رسول الله صلى الله عليه وآله ، ارجعوا إلى أعمالكم . فقالوا : نحن بنو أبى أحيحة لا نعمل لأحد بعد رسول الله صلى الله عليه وآله أبدا ، وكان خالد حينها على اليمن كما ذكرنا ، وأبان على البحرين ، وعمرو على تيماء وخيبر وقرى عربية .
وتأخر خالد وأخوه أبان عن بيعة أبى بكر ، فقالا لبنى هاشم : أنتم لطوال الشجر ، طيبوا الثمر ، ونحن تبع لكم .
في طبقات ابن سعد : أخبرنا محمد بن عمر قال :
حدثني . . . عن إبراهيم بن عقبة ، قال : سمعت أم خالد بنت خالد بن سعيد بن العاص تقول :
قدم أبى من اليمن إلى المدينة بعد أن بويع لأبى بكر ، فقال لعلى وعثمان : أرضيتم بنى عبد مناف أن يلي هذا الأمر علكيم غيركم ؟ ؟ فنقلها عمر إلى أبى بكر فلم