وقيل إن الحسين وابن الزبير خرجا جميعاً وسلكا طريق الفرع حتى مروا بالجثجاثة وبها جعفر بن الزبير قد ازدرعها وغمز عليهم بعير من إبلهم فانتهوا إلى جعفر. فلما رآهم قال: أمات معاوية؟ قال له ابن الزبير: نعم. انطلق معنا وأعطنا أحد جمليك، وكان ينضح على جملين له فقال جعفر متمثلاً:
إخوتا لابتعدوا أبداً ... وبلى والله قد بعدوا
فقال ابن الزبير - وتطير منها - بفيك التراب، فخرجوا جميعاً حتى قدموا مكة. فأما الحسين فخرج من مكة يوم التروية.
قالوا: ولما خرج حسين بن علي إلى العراق لزم ابن الزبير الحجر ولبس المعافري، وجعل يحرض الناس على بني أمية. وبلغ يزيد ذلك فوجد عليه، فقال ابن الزبير: أنا على السمع والطاعة لا أبدل ولا أغير، ومشى إلى يحيى بن حكيم بن صفوان بن أمية الجمحي وهو والي مكة ليزيد بن معاوية فبايعه له على الخلافة. فكتب بذلك يحيى إلى يزيد فقال: لا أقبل هذا منه حتى يؤتى به وثاق، في جامعةٍ فقال ابنه معاوية بن زيد: يا أمير المؤمنين، ادفع الشر عنك ما اندفع، فإن ابن الزبي رجل لحز لجوج، ولا يطيع بهذا أبداً، وإن تكفر عن يمينك، وتلهى منه، حتى تنظر ما يصير إليه أمره أفضل، فغضب يزيد وقال: إن في ذلك لعجباً. قال: فادع عبد الله بن جعفر فسله عما أقول وتقول، فدعا عبد الله بن جعفر فذكر له قولهما، فقال عبد الله: أصاب أبو ليلى، ووفق فأبى يزيد أن يقبل ذلك وعزل الوليد بن عتبة عن المدينة، وولاها عمرو بن سعيد بن العاصي، وأرسل إليه: أن أمير المؤمنين يقسم بالله لا يقبل من ابن الزبير شيئاً حتى يؤتى به في