في الخلافة، أتاه عمر بن الوليد بن عبد الملك فقال ليزيد يا أمير المؤمنين! إن هذا المرائي- يعنى عمر ابن عبد العزيز- قد خان من المسلمين كل ما قدر عليه من جوهر نفيس ودر ثمين، في بيتين في داره مملوءين، وهما مقفولان على ذلك الدر والجوهر. فأرسل يزيد إلى أخته فاطمة بنت عبد الملك امرأة عمر: بلغني أن عمر خلف جوهرا ودرا في بيتين مقفولين. فأرسلت إليه: يا أخى ما ترك عمر من سبد ولا لبد، إلا ما في هذا المنديل. وأرسلت إليه به، فحله فوجد فيه قميصا غليظا مرقوعا، ورداء قشبا، وجبة محشوة غليظة واهية البطانة. فقال يزيد للرسول: قل لها: ليس عن هذا أسأل، ولا هذا أريد، إنما أسأل عما في البيتين. فأرسلت تقول له: والّذي فجعني بأمير المؤمنين ما دخلت هذين البيتين منذ ولى الخلافة، لعلمي بكراهته لذلك، وهذه مفاتيحهما فتعال فحول ما فيهما لبيت مالك. فركب يزيد ومعه عمر بن الوليد حتى دخل الدار ففتح أحد البيتين فإذا فيه كرسي من أدم وأربع آجرّات مبسوطات عند الكرسي، وقمقم. فقال عمر بن الوليد: أستغفر الله، ثم فتح البيت الثاني فوجد فيه مسجدا مفروشا بالحصى، وسلسلة معلقة بسقف البيت، فيها كهيئة الطوق بقدر ما يدخل الإنسان رأسه فيها إلى أن تبلغ العنق، كان إذا فتر عن العبادة أو ذكر بعض ذنوبه وضعها في رقبته، وربما كان يضعها إذا نعس لئلا ينام، ووجدوا صندوقا مقفلا ففتح فوجدوا فيه سفطا ففتحه فإذا فيه دراعة وتبان، كل ذلك من مسوح غليظ، فبكى يزيد ومن معه وقال: يرحمك الله يا أخى، إن كنت لنقى السريرة، نقى العلانية. وخرج عمر بن الوليد وهو مخذول وهو يقول:
أستغفر الله، إنما قلت ما قيل لي.
وقال رجاء: لما احتضر جعل يقول: اللَّهمّ رضني بقضائك، وبارك لي في قدرك، حتى لا أحب لما عجلت تأخيرا، ولا لما أخرت تعجيلا. فلا زال يقول ذلك حتى مات. وكان يقول: لقد أصبحت وما لي في الأمور هوى إلا في مواضع قضاء الله فيها.
وقال شعيب بن صفوان: كتب سَالِمُ بْنِ عَبْدِ اللَّهِ بْنِ عُمَرَ بْنِ الْخَطَّابِ إلى عمر بن عبد العزيز لما ولى الخلافة: أما بعد يا عمر فإنه قد ولى الخلافة والملك قبلك أقوام، فماتوا على ما قد رأيت، ولقوا الله فرادى بعد الجموع والحفدة والحشم، وعالجوا نزع الموت الّذي كانوا منه يفرون، فانفقأت أعينهم التي كانت لا تفتأ تنظر لذاتها، واندفنت رقابهم غير موسدين بعد لين الوسائد، وتظاهر الفرش والمرافق والسرر والخدم، وانشقت بطونهم التي كانت لا تشبع من كل نوع ولون من الأموال والأطعمة، وصاروا جيفا بعد طيب الروائح العطرة، حتى لو كانوا إلى جانب مسكين ممن كانوا يحقرونه وهم أحياء لتأذى بهم، ولنفر منهم، بعد إنفاق الأموال على أغراضهم من الطيب والثياب الفاخرة اللينة، كانوا ينفقون الأموال إسرافا في أغراضهم وأهوائهم، ويقترون في حق