وكان يوسف بن عمر من أعظم الناس لحية، وأصغرهم قامة، كانت لحيته تجوز سرته.
وكان يُضرب به المثل في التيه والحمق، ذكر ذلك حمزة الأصبهاني في كتاب " الأمثال "، فقال: قولهم " أتيه من أحمق ثقيف " هو يوسف ابن عمر، كان أتيه وأحمق عربي أمر ونهى في دولة الإسلام، فمن حمقه أن حجاماً أراد أن يحجمه فارتعدت يده، فقال لحاجبه: قل لهذا البائس، لا تخف، وما رضي أن يقول له بنفسه. وكان الخياط إذا أراد أن يفصل ثيابه فإن قال: يحتاج إلى زيادة ثوب آخر، أكرمه وحباه، وإن فضل شيء أهانه وأقصاه، لأنه يكون قد نبه على قصره ودمامته.
واستمر يوسف على ولاية العراق بقية مدة هشام بن عبد الملك، فلما توفي في يوم الأربعاء لست خلون من ربيع الآخر سنة خمس وعشرين ومائة بالرصافة من أرض قنسرين وبها قبره، وكان عمره خمساً وخمسين سنة، وقيل أربعاً وخمسين، وقيل اثنتين وخمسين سنه، والله أعلم، وكنيته أبو الوليد، تولى ابن أخيه الوليد بن يزيد بن عبد الملك بعده فأقر يوسف ابن عمر على ولايته بالعراق. وقتل الوليد المذكور يوم الخميس لليلتين بقيتا من جمادى الآخرة سنة ست وعشرين ومائة، وكان قد عزم على عزل يوسف ابن عمر وتولية عبد الملك بن محمد بن الحجاج بن يوسف الثقفي.
وكانت أم الوليد بن يزيد المذكور أم الحجاج بنت محمد بن يوسف، فالحجاج عمها، فكتب الوليد إلى يوسف بن عمر: إنك قد كنت كتبت إليّ تذكر أن خالد بن عبد الله القسري أخرب العراق، وكنت مع ذلك تحمل إلى هشام ما تحمل، وينبغي أن تكون قد عمرت البلاد حتى ردتها إلى ما كانت عليه، فاشخص إلينا وصدق ظننا بك فيما تحمله إلينا بعمارتك البلاد حتى نعرف فضلك على غيرك لما بينا وبينك من القرابة، فإنك خالنا وأحق الناس بالتوفير علينا، وقد علمت ما زدنا لأهل الشام في العطاء، وما وصلنا أهل بيتنا به لجفوة هشام إياهم، حتى أضر ذلك ببيوت الأموال؛