وقد بدأ توتر العلاقة بينه وبين عمر بن الخطاب ، عندما رجع خالد من اليمن وكان والياً للنبي ( ( ٦ ) ) عليها ، فتفاجأ بخبر أن ثلاثة مهاجرين هم أبو بكر وعمر وأبو عبيدة صفقوا على يد أبي بكر في السقيفة ، وأعلنوه خليفة ، وتجمهر حولهم الطلقاء وأخذوا يجبرون الناس على بيعته بالسيف !

قال الجوهري في كتابه السقيفة / ٤٨ : « لا يمرون بأحد إلا خبطوه وقدموه فمدوا يده فمسحوها على يد أبي بكر يبايعه ، شاء ذلك أو أبى » !

فاستنكر ذلك خالد لأن النبي ( ( ٦ ) ) نصب علياً ( ٧ ) خليفة بعده ، فقام هؤلاء باستغلال فرصة انشغاله والمسلمين بجنازة النبي ( ( ٦ ) ) ، وقاموا بهذه الفعلة !

فتشاور مع علي ( ٧ ) هو وأحد عشر من كبار المهاجرين والأنصار ، وقرروا أن يخطبوا في المسجد ، ويلزموا أبا بكر وعمر وأبا عبيدة بإرجاع الحق إلى أهله !

وكان « أول من قام خالد بن سعيد بن العاص بإدلاله ببني أمية فقال : يا أبا بكر إتق الله فقد علمت ما تقدم لعلي من رسول الله ( ( ٦ ) ) ألا تعلم أن رسول الله ( ( ٦ ) ) قال لنا ونحن محتوشوه في يوم بني قريظة ، وقد أقبل على رجال منا ذوي قدر فقال : يا معشر المهاجرين والأنصار أوصيكم بوصية فاحفظوها ، وإني مؤد إليكم أمراً فاقبلوه ، ألا إن علياً أميركم من بعدي ، وخليفتي فيكم ، أوصاني بذلك ربي . وإنكم إن لم تحفظوا وصيتي فيه وتؤازروه وتنصروه ، اختلفتم في أحكامكم ، واضطرب عليكم أمر دينكم ، وولي عليكم الأمر شراركم ! ألا