دمشق فقضى خالد ويزيد على محاولتهم، وانطلق أبو عبيدة يطاردهم، وحاصر بعلبك، وانتهى إلى حمص، وكان هرقل قد فر منها إلى أنطاكية، وبعد حصار طويل سلمت المدينة وسلمت حماة واللاذقية بعد ذلك. وفتح خالد قنسرين، وسلمت حلب لأبي عبيدة، وسلمت أنطاكية بعد أن فر هرقل إلى الرها، وأقام فيها حامية، بعد أن أخمد عياض ثورتها. ولكي يتصل الشام بالعراق بدد أبو عبيدة شمل عرب الجزيرة وفتح قورس، وفتح خالد مرعش، وكان يزيد قد فتح بيروت والثغور المجاورة. ويئس هرقل، فترك الرها إلى القسطنطينية؛ حيث التحق به جبلة بن الأيهم بعد أن ارتد.
وبينما كان أبو عبيدة يجتاح الشام، كان عمرو وشرحبيل يواجهان الأرطبون في فلسطين؛ حيث أرسلا معاوية لفتح قيسارية، حتى لا يأتي المدد منها لأرطبون. ووجها علقمة بن حكيم ومسروقًا العكي إلى إيلياء، وأبا أيوب المالكي إلى الرملة؛ لتتبدد قوى الأرطبون بين هذه المناطق. والتقى عمرو بالأرطبون في أجنادين؛ حيث اندحر الروم وفروا إلى بيت المقدس.
ورأى عمرو أن يقطع عليهم خط الرجعة من ناحية البحر، فأرسل حملات فتحت رفح، وغزة، وسبسطية، ونابلس، واللد، وعمواس، وبيت جبرين، ويافا. وحاصر عمرو بيت المقدس، وبعد استماتة المدينة في الدفاع طلبت الصلح، واشترطت حضور الخليفة، حتى يمكن للروم الانسحاب إلى مصر.
ولم يعترف الروم بضياع سلطانهم على الشام، ولم ييئسوا، فحاولوا استعادتها، فرتبوا مع القبائل العربية في شمال الشام مؤامرة رافقت وصول حملة قسطنطين إلى أنطاكية، ووجد المسلمون سلطانهم على الشام مهددًا بالضياع، واهتم الخليفة عمر بالأمر، فأمد أبا عبيدة، وأفلح المسلمون في عزل العرب عن الروم، وانفردوا بهم؛ حيث لقنوهم درسًا وألجئوهم إلى الانسحاب.
ولم يكد المسلمون يفرغون من الروم حتى حدث وباء الطالعون، وصادف ذلك مجاعة بشبه الجزيرة. وأضر الطاعون بالمسلمين، فراح ضحيته خمسة وعشرون ألفًا منهم. وكانت أقدام المسلمين قد ثبتت في الشام، ولكن حملة قسطنطين أكدت لهم أن بقاء مصر في يد الروم أمر لا تحمد عقباه، ومن ثم راح عمرو بن العاص يلح على عمر في الجابية بفتح مصر.