شقّا أحد أجداد خالد وكان كاهنًا-. فقال له: إنك لأحمق، تعيّرني بشرفي لكنك ابن السبّاء، إِنَّما كان أبوكَ يسبي الخمر.
ثم ردّه إلى محبسه، فأقام ثَمانية عشر شهرًا، ثم كتب إليه هشام يأمره بتخليه سبيله في شوال سنة إحدى وعشرين ومائة. وأخذ يزيد بن خالد وحده على بلاد طيّئ حتى ورد دمشق، وخرج خالد ومعه إسماعيل أخوه وغيره، وقد جهزهم عبد الرحمن بن عنبسة بن سعيد بن العاص، فسار خالد حتى نزل القُرّية، وهي من أرض الرصافة، فأقامَ بها بقية شوال، وذا القعدة، وذا الْحجَّة، وصفر لا يأذن له هشام في القدوم عليه والأبرش يُكاتب خالدًا.
قال الهيثم: وخرج زيد بن علي على يوسف بن عمر، فكتب يوسف، إن أهل البيت من بني هاشم قد كانوا هلكوا جوعًا حتى كانت همة أحدهم قوت يومه، فلما ولي خالد العراق قوّاهم بالأموال حتى تاقت أنفسهم إلى طلب الخلافة، وما خرج زيد إلا بإذن خالد، وما مقامه بالقرية إلا لأنها مدرجة الطريق، فهل تسأل عن أخباره؟ فقال هشام للرسول، وهو رجلٌ من بلقين: كذبتَ وكذب صاحبك ومهما اتهمنا به خالدًا فإنا لا نتهمه في طاعته وأمر بالرسول فوجئت عنقه.
وبلغ الخبر خالدًا فصار إلى دمشق فأقامَ بها حتى حضرت الصائفة، فخرج فيها ومعه يزيد وهشام ابنا خالد، وعبد الله بن يزيد بن خالد، وكان على دمشق يومئذ كلثوم بن عياض بن جُوح بن قيس القشيري، وكان متحاملا على خالد مطابقًا ليوسف على أمره، فلما أدربَ الناس ظهر في دور دمشق حريق في كل ليلة يلقيه رجل من أهل العراق يُقالُ له أبو المعرّس