ورياسته وزاد عليه بالمشيخة في الحديث ولقاء الشيوخ فإنه رحل إلى العراق وسمع بها ثم إلى مصر ودمشق وحلب وكثير من الأقاليم ولقي من شيوخ هذا الفن ما لا يحصى كثرة واشتهر ذكره شرقا وغربا بسبب هذا العلم وبما كان فيه من مكارم الأخلاق والنفس والإحسان للغرباء الواردين عليه من العلماء فإنه كان لهم كالأب الشفيق وكونه من أهل الصلاح والتقوى مع الجماعة وانقباضه عمن عداهم من الناس وانتهت إليه مشيخة الصوفية بالحرمين, فإنه كان في زيهم ولباسهم وأخلاقهم في أعلى المراتب وكان إماما في علمي الرجال والحديث مع حردة وسكينة وحشمة ,مع ما رزق من الشكالة الحسنة والخصال المستحسنة ولم يتزوج قط بل كان عنده جوار يقومون بخدمته وخدمة أصحابه ولما توفي أبوه قام بخدمة أخيه التقي أبي الحرم عبد الرحمن وكفل أيضا ابن أخته عبد العزيز بن يحيى بن العفيف فرباهما جميعا وأشغلهما بالعلم على الشيوخ, وكان كل شيخ ذي علم يرد إلى المدينة يحسن إليه ويلزمهما العكوف عليه وامتحن في دنياه في سنة اثنتين وأربعين بعد موت الطواشي مختار البغدادي لكونه كان وصيا على أولاد العفيف بن مزروع وهم أولاد أخت العفيف هذا وكان الوالي في المدينة يومئذ ثابت بن جماز نيابة عن أخيه ودي فطلب العفيف واتهمه أن للطواشي عنده مالا فحلف له أنه ليس له عنده شيء فلم يصدقه وأنزله مع غيره من أخصامه الجب وأقام به نحو يومين بلياليهما, وكانت حادثة شنيعة غرم فيها ودائع كانت تحت يده فإنه نهب جميع ما في حوزته من كتب وأثاث ومال ولم يلبث ثابت إلا يسيرا وقتل بعد أن ضاع مما نهب جملة وهي دون عشرة آلاف وآل الأمر إلى أن اشترى العفيف كتبه من الوزير محمد بن يعقوب وعوضه الله خيرا مما ذهب له وذكره المجد فقال: شيخ العلم والحديث والتصوف والتأذين بحرم رسول الله صلى الله عليه وسلم جمع إلى حسن الخلق محاسن الأخلاق ورحل إلى مصر والشام والعراق وبرع في علم الحديث والتاريخ وفاق وصار عديم النظير فيهما بالاتفاق أدرك من أكابر المسندين جمعا كثيرا ولقي من المشايخ المعتبرين جما غفيرا اختار متاعب السفر على الإسار في سرار أسرته فسفر السفر عن سرارة أسارير غرته رجع عن بغداد وتبريز وقد سبكته المسامرة سبك الذهب الإبريز وبرز في العلوم على الأقران أي تبريز. فأقام في مولده أشرف البلاد منتخبا عن التعلق بالأهل والأولاد سالكا مسالك المجردين صارفا أوقاته في مهمات أمر الدين وخدمة الوافدين والورادين وهو لهم كالأب الرؤوف والمشفق العطوف يتلقاهم من الإحسان بأتم الصنوف فما منهم من أحد إلا وهو ببره محفوف ومعروفه إليه معروف ونهاره بإسماع الحديث ونشر العلوم موصوف خص في علم الحديث من الله بمزيد عطايا فصار يضرب به وإليه أمثال البرايا وأكباد المطايا وقد ابتلي بمحنة ثبته الله فيها وصبره ولم يغض بها عن قدره بل كبره, وقال ابن صالح: إنه