ولما عاد عمر من الشام خلع أبا عبيدة بن الجراح من ولاية الشام وعين معاوية بدلا عنه (1).
ثم مات أبو عبيدة في نفس السنة في فحل في الأردن معزولا عن الخلافة والولاية! وقد قتل الأمويون الوليد بن عتبة بن أبي سفيان ثم قالوا:
مات بالطاعون.
وكان أبو عبيدة قد تنحى عن عمر وجماعته، وهم في طريقهم إلى الحج، فرارا من غنائهم! إذ أخرج البيهقي عن خوات بن جبير.
" قال: خرجنا حجاجا مع عمر بن الخطاب (رضي الله عنه)، قال: فسرنا في ركب فيهم أبو عبيدة بن الجراح، وعبد الرحمن بن عوف (رضي الله عنه).
فقال القوم: غننا يا خوات فغناهم.
فقالوا: غننا من شعر ضرار.
فقال عمر: ارفع لسانك يا خوات فقد أسحرنا.
فقال أبو عبيدة (رضي الله عنه): هلم إلى رجل، أرجو أن لا يكون شرا من عمر (رضي الله عنه).
قال: فتنحيت وأبو عبيدة، فما زلنا كذلك، حتى صلينا الفجر " (2).
لذلك أصبح أبو يعلى بن عمر بن الجراح ابن أخي أبي عبيدة بن الجراح معارضا للحزب القرشي فجعله الإمام علي (عليه السلام) على مقدمته في معركة الجمل (3).