بعضى از ياران امام كه براى توديع به محضرش شرفياب شده بودند، پيشنهاد ماندن در كوفه را كردند. امام در پاسخ فرمود: راهى براى ماندن نيست. روز ديگر همراه برادر و خانواده‌اش كوفه را ترك كرد. چون به «ديرهند» رسيد نگاهى غمگنانه به كوفه كرد و اين شعر را خواند:
وَ لا عَنْ قِلىً فارَقْتُ دارَ مَعاشِرى‌ هُمُ الْمانِعُونَ حَوْزَتى‌ وَ ذِمارى‌ «١» از روى نفرت و بى‌مهرى ديار هم صحبتان را ترك نگفتم. آنان بودند كه از حريم من و خانواده‌ام دفاع كردند.
امام عليه السلام در هنگام وداع كوفه به جاى سخن گفتن از بى‌وفايى‌ها و خيانت‌هاى اين شهر و مردم آن، شعرى را سرود كه بيانگر امتنان از وفادارى وفاداران آن شهر است. و بدين ترتيب پيشواى دوم شيعيان با دلى افسرده و چهره‌اى غمبار، در حالى كه در ميان امت احساس غربت و تنهايى مى‌كرد پس از چند سال دورى از مدينه رهسپار اين شهر شد.
امام عليه السلام هنوز به مدينه نرسيده بود كه فرستاده معاويه رسيد و از امام خواست به كوفه بازگردد و شورش خوارج را كه عليه معاويه سربرآورده بودند فرونشاند. امام نپذيرفت و در پاسخ به درخواست معاويه نوشت:
«لَوْ آثَرْتُ انْ اقاتِلَ احَداً مِنْ اهْلِ الْقِبْلَةِ لَبَدَأْتُ بِقِتالِكَ. فَانّى‌ تَرَكْتُكَ لِصَلاحِ الْامَّةِ وَ حِقْنِ دِمائِها» «٢» اگر روزى بخواهم با كسى از اهل قبله بجنگم از تو آغاز خواهم كرد، ولى براى صلاح مسلمانان و حفظ جانشان از تو دست برداشتم.
كاروان امام عليه السلام به مدينه رسيد و با استقبال گرم اهالى اين شهر مواجه شد.
در مدينه‌ سبط اكبر پيامبر صلى الله عليه و آله پس از استقرار در مدينه هر چند از همجوارى جد بزرگوارش بهره‌مند بود و از اين جهت احساس آرامش مى‌كرد؛ ليكن حكومت ستمگر اموى‌