وبلغ يزيد بن الوليد خبره فأرسل إليه من يحضره، فوصلوا إليه فوجدوه بعد أن فتشوا عليه كثيراً جالساً على تلك الهيئة بين نسائه وبناته، فجاء به في وثاق، فحبسه يزيد عند الحكم وعثمان ابني الوليد بن يزيد، وكان يزيد ابن الوليد قد حبسهما عند قتله أباهما في الخضراء، وهي دار بدمشق مشهورة قبلي جامعها وقد خربت الآن ومكانها معروف عندهم. ثم إن يزيد بن الوليد عزل منصور بن جمهور عن ولاية العراق وولاها عبد الله بن عمر بن عبد العزيز، فأقام يوسف بن عمر في السجن بقية مدة يزيد بن الوليد إلى أن مات في ذي الحجة على الخلاف الكثير فيه: هل مات في أول الشهر أو في عاشره أو بعد العاشر أو في سلخ ذي القعدة سنة ست وعشرين ومائة، وجعل ولي عهده أخاه إبراهيم بن الوليد، ومن بعده عبد العزيز بن الحجاج بن عبد الملك. واستمر يوسف بن عمر في سجنه مدة ولاية إبراهيم بن الوليد، فجاء مروان بن محمد آخر ملوك بني آمية بأهل الجزيرة الفراتية وقنسرين وغلب على الأمر وخلع إبراهيم بن الوليد وتولى مكانه، وقتل عبد العزيز بن الحجاج ابن عبد الملك، وكانت ولاية إبراهيم أربعة أشهر، وخلع في شهر ربيع الآخر سنة سبع وعشرين ومائة، وقيل كانت ولايته سبعين يوماً لا غير، وكان يزيد بن خالد بن عبد الله القسري مع إبراهيم بن الوليد.
فلما ظهر أمر مروان بن محمد والتقى عسكره وعسكر إبراهيم، وهرب عسكر إبراهيم ودخلوا دمشق، ومروان وراءهم، خافت جماعة إبراهيم أن يدخل مروان فيخرج الحكم وعثمان ابني الوليد من السجن ويجعل لهما الأمر فلا يستبقيا أحداً ممن أعان على قتل أبيهما، فأجمع رأيهم على قتلهما، فأرسلوا يزيد بن خالد القسري ليتولى ذلك فانتدب يزيد المذكور مولى أبيه، وهو أبو الأسد، في جماعة من أصحابه، فدخلوا السجن وشدخوا الغلامين بالعمد وأخرجوا يوسف بن عمر فضربوا عنقه، لكونه قتل خالد ابن عبد الله القسري والد يزيد المذكور كما شرحناه في ترجمة خالد وذلك في سنة سبع وعشرين ومائة، وهو ابن نيف وستين سنة. ولما قتل أخذوا رأسه عن جسده وشدوا في رجليه حبلاً، فجعل الصبيان يجرونه