قال: خل عن الرجل، ثم ركب فأناخ بالرحبة، ودخل المسجد فصلى يوسف ثم استلقى على ظهره، فمكثنا ليلاً طويلاً، ثم جاء المؤذنون وزياد بن عبيد الله الحارثي يومئذ على الكوفة خليفة لخالد، فأذنوا ثم سلموا، وخرج زياد فأقيمت الصلاة، فذهب زياد ليتقدم فقال يوسف، يا أشرس نحه، فقلت: يا زياد تأخر، الأمير، فتأخر زياد وتقدم يوسف، وكان حسن القراءة فصيحاً، فقرأ (إذا وقعت الواقعة) و (سال سائل بعذاب واقع) فصلى الفجر، وتقدم القاضي فحمد الله وأثنى عليه ودعا للخليفة وقال: ما اسم أميركم فأخبر، فدعا له بالصلاح، فما تفرق أهل الصلاة حتى جاء الناس، ولم يبرح يوسف حتى بعث إلى خالد وإلى أبان ابن الوليد بفارس، وإلى بلال بن أبي بردة بالبصرة، وإلى عبد الله بن أبي بردة بسجستان، وأمر هشام أن تعزل عمال خالد جميعهم، إلا الحكم بن عوانة، وكان على السند، فأقره حتى قتل هو وزيد بن علي في يوم واحد، فقتله ناكهر.
ولما أتى خالد قيل له: الأمير يوسف، قال: دعوني من أميركم، أحي هو أمير المؤمنين قيل نعم، فقال: لا بأس علي. فلما قدم بخالد على يوسف حبسه، وضرب يزيد بن خالد ثلاثين سوطاً، فكتب هشام إلى يوسف: أعطي الله عهداً لئن شاكت خالداً شوكة لأضربن عنقك، فخلّ سبيله بثقله وعياله، فأتى الشام فلم يزل مقيماً به يغزو الصوائف حتى مات هشام.
وقيل إن يوسف استأذن هشاماً في بسط العذاب على خالد فلم يأذن له، حتى ألح عليه بالرسل واعتل بانكسار الخراج لما صار إليه وإلى عماله منه، فأذن له فيه مرةً واحدة وبعث حرسياً يشهد ذلك، وحلف لئن أتى على خالد أجله ليقتلنه به، فدعا به يوسف وجلس على دكان بالحيرة وحضر الناس، وبسط عليه العذاب، فلم يكلمه خالد حتى شتمه يوسف وقال: يا ابن الكاهن، يعني شقاً أحد أجداد خالد وهو الكاهن المشهور - قلت: كما تقدم في ترجمة خالد - قال فقال له خالد: إنك لأحمق، تعيرني بشرفي، لكنك ابن السباء، إنما كان أبوك يسبأ الخمر - قلت: معناه يبيع الخمر - قال: ثم رد خالداً إلى محبسه فأقام ثنانية عشر شهراً، ثم كتب إليه هشام