جمع آن صوفيه را در ذكر شورش مختصرى كه به سال ١٩٩ هجرى در اسكندريه رخ داد براى اولين بار در نيمه دوم قرن دوم هجرى مى‌بينيم، و نيز در آثار محاسبى (در گذشته در ٢٤٣ ه‌) و جاحظ (در گذشته در ٢٥٥ ه‌) نامى از فرقۀ نيمه شيعى عارفانه‌اى كه در كوفه تأسيس شده بود و آخرين پيشواى آن فرقه عبدك صوفى است، به نظر مى‌رسد. وى در حدود سال ٢١٠ ه‌ زندگى مى‌كرد و به زهد مى‌گذرانيد و گوشت نمى‌خورد، و گياه‌خوار بود.

عبدك، نخستين كسى است كه پس از جابر بن حيان ملقب به صوفى شد.

رواست كه نام دو تن از صحابه را كه يكى ابو ذر غفارى و حذيفه بن يمان باشد از نخستين صوفيان اسلام به شماريم.

در صدر اسلام بعضى از صوفيه مانند حسن بصرى (در گذشته در ١١٠ ه‌) و مالك بن دينار و فضل رقاشى و رباح بن عمرو و عبد الواحد بن زيد (در گذشته در ١٧٧ ه‌) از زهاد و صوفيه بصره بودند و عبد الواحد بن زيد از ياران زهّاد جزيره عبادان (آبادان) بود و چون عده‌اى از صوفيه در آن جزيره مى‌زيستند به نام عبادان مشهور شد.

عرب گويد: ليس ما وراء عبادان قريه، نيست زان سوتر ز عبادان دهى.

شهر بصره و كوفه دو مركز قديم فرهنگ و ثقافت عرب بود، صوفيه كوفه غالبا متمايل به شيعه و مرجئه بودند و پيشوايان ايشان در تصوف ربيع بن خيثم (در گذشته در ٦٧ ه‌) و ابو اسرائيل ملائى (در گذشته در ١٤٠ ه‌) و جابر بن حيان و منصور بن عمّار و ابو العتاهيه بودند و حلقات تصوف آنان در مساجد تشكيل مى‌گشت.

ذو النون مصرى كه امام قضات بغداد بود (در گذشته در ٢٤٠ ه‌) از زهّاد و صوفيه آن عصر به شمار مى‌رفت.

در عهد اوّل، تصوف در گرد دو نقطه مى‌گرديد: نخست اعتكاف براى عبادت كه جهت تصفيه نفس انجام مى‌گرفت و از آن استنباط حقايق روحى مى‌شد. ديگر، دل آگاهى كه باعث فيضان معرفت خداوند در نفس انسان مى‌گشت.

از اواخر قرن دوم، بخصوص در اوائل قرن سوم افكار تازه‌اى از قبيل: عشق، محبت، عرفان، معرفت، بقا و امثال آن وارد تصوف شد كه با اصول و افكار قديم يعنى زهد و تعبد و طلب نجات اخروى متوازيا پيش مى‌رفت. با پيدا شدن اين افكار رموز و تعبيرات خاصى نيز به ميان آمد و بخصوص توصيه مى‌شد كه اسرار حق بايد از نامحرم مكتوم بماند و به قول عرفا چون حسين بن منصور حلاّج افشاى اسرار مى‌كرد او را به دار آويختند.

حافظ گويد: گفت آن يار كزو گشت سردار بلند
جرمش آن بود كه اسرار هويدا مى‌كرد