مصر على عادته؛ فاستمرّ عليها الى أن صرفه المنتصر عنها بإسحاق بن يحيى بن معاذ فى ذى الحجّة سنة خمس وثلاثين ومائتين. فكانت ولايته على مصر فى هذه المرّة الثانية سنة واحدة وثلاثة أشهر تنقص أيّاما. وخرج من مصر وتوجّه الى العراق وقدم على الخليفة المتوكّل على الله جعفر وصار عنده من كبار قوّاده؛ وجهّزه فى سنة تسع وثلاثين ومائتين الى غزو الروم، فتوجّه بجيوشه الى بلاد الروم فأوغل فيها، فيقال: إنّه شارف القسطنطينيّة، فأغار على الروم وقتل وسبى، حتى قيل: إنه أحرق ألف قرية وقتل عشرة آلاف علج، وسبى عشرة آلاف رأس، وعاد الى بغداد سالما غانما؛ فزادت رتبته عند المتوكّل أضعاف ما كانت. ثم غزا غزوة أخرى فى سنة تسع وأربعين ومائتين، وتوغّل فى بلاد الروم، ثم عاد قافلا من إرمينية الى ميّافارقين، فبلغه مقتل الأمير عمر بن عبد الله الأقطع بمرج الأسقف؛ وكان الروم فى خمسين ألفا فأحاطوا به- أعنى عمر بن عبد الله الأقطع- ومن معه فقتلوه وقتل عليه «١» ألف رجل من أعيان المسلمين؛ وكان ذلك فى يوم الجمعة منتصف شهر رجب سنة تسع وأربعين ومائتين المذكورة. فلمّا بلغ الأمير علىّ بن يحيى هذا عاد يطلب الروم بدم عمر بن عبد الله المذكور، حتى لقبهم وقاتلهم قتالا شديدا، حتى قتل وقتل معه أيضا من أصحابه أربعمائة رجل من أبطال المسلمين. رحمهم الله تعالى.
وكان علىّ بن يحيى هذا أميرا شجاعا مقداما جوادا ممدّحا عارفا بالحروب والوقائع مدبّرا سيوسا محمود السيرة فى ولايته، وأصله من الأزمن؛ وقد حكينا طرفا من هذه الغزوة فى ولايته الأولى؛ والصواب أنّ ذلك كان فى هذه المرّة، وأنّ تلك الغزوة كانت غير هذه الغزوة التى قتل فيها. رحمه الله تعالى وتقبّل منه.