Sudah tak asing lagi bahwa, benih-benih tasawuf sudah ada sejak dalam kehidupan Nabi Saw. Hal ini dapat dilihat dalam perilaku dan peristiwa dalam hidup, ibadah dan pribadi Nabi Muhammad Saw. Sebelum diangkat menjadi Rasul, berhari-hari ia berkhalwat di gua Hira, terutama pada bulan Ramadhan. Di sana Nabi banyak berdzikir bertafakur dalam rangka mendekatkan diri kepada Allah.
Pengasingan diri Nabi di gua Hira ini merupakan acuan utama para sufi dalam melakukan khalwat. Sumber lain yang diacu oleh para sufi adalah kehidupan para sahabat Nabi yang berkaitan dengan keteduhan iman, ketaqwaan, kezuhudan dan budi pekerti luhur. Oleh sebab itu, setiap orang yang meneliti kehidupan kerohanian dalam Islam tidak dapat mengabaikan kehidupan kerohanian para sahabat yang menumbuhkan kehidupan sufi di abad-abad sesudahnya.
Setelah periode sahabat berlalu, muncul pula periode tabi’in (sekitar abad ke 1 dan ke 2 H). Masa itu, kondisi sosial-politik sudah mulai berubah dari masa sebelumnya. Konflik-konflik sosial politik yang bermula dari masa Usman bin Affan berkepanjangan sampai masa-masa sesudahnya. Konflik politik tersebut ternyata mempunyai dampak terhadap kehidupan beragama, yakni munculnya kelompok kelompok Bani Umayyah, Syi’ah, Khawarij dan Murjiah.
Pada masa kekuasaan Bani Umayyah, kehidupan politik berubah total. Dengan sistem pemerintahan monarki, khalifah-khalifah Bani Umayyah secara bebas berbuat kezaliman-kezaliman, terutama terhadap kelompok Syiah, yakni kelompok lawan politiknya yang paling gencar menentangnya. Puncak kekejaman mereka terlihat jelas pada peristiwa terbunuhnya Husein bin Ali bin Abi Thalib di Karbala.
Kasus pembunuhan itu ternyata mempunyai pengaruh yang besar dalam masyarakat Islam ketika itu. Kekejaman Bani Umayyah yang tak henti-hentinya itu membuat sekelompok penduduk Kufah merasa menyesal karena, mereka telah mengkhianati Husein dan memberikan dukungan kepada pihak yang melawan Husein. Mereka menyebut kelompoknya itu dengan Tawwabun (kaum Tawabin).
Untuk membersihkan diri dari apa yang telah dilakukan, mereka mengisi kehidupan sepenuhnya dengan beribadah. Gerakan kaum Tawabin itu dipimpin oleh Mukhtar bin Ubaid as-Saqafi yang terbunuh di Kufah pada tahun 68 H.
Rupanya, di samping gejolak politik yang berkepanjangan, perubahan kondisi sosial pun terjadi. Hal ini mempunyai pengaruh yang besar dalam pertumbuhan kehidupan beragama masyarakat Islam. Pada masa Rasulullah Saw dan para sahabat, secara umum kaum muslimin hidup dalam keadaan sederhana. Ketika Bani Umayyah memegang tampuk kekuasaan, hidup mewah mulai meracuni masyarakat, terutama terjadi di kalangan istana.
Muawiyah bin Abi Sufyan sebagai khalifah tampak semakin jauh dari tradisi kehidupan Nabi Saw serta sahabat utama dan semakin dekat dengan tradisi kehidupan raja-raja Romawi. Kemudian anaknya, Yazid (memerintah 61 H/680 M-64 H/683M), dikenal sebagai seorang pemabuk. Dalam sejarah, Yazid dikenal sebagai seorang pemabuk.
Dalam situasi demikian kaum muslimin yang saleh merasa berkewajiban menyerukan kepada masyarakat untuk hidup zuhud, sederhana, saleh, dan tidak tenggelam dalam buaian hawa nafsu. Diantara para penyeru tersebut ialah Abu Dzar al-Ghiffari. Dia melancarkan kritik tajam kepada Bani Umayyah yang sedang tenggelam dalam kemewahan dan menyerukan agar diterapkan keadilan sosial dalam Islam.
Dari perubahan kondisi sosial tersebut sebagian masyarakat mulai melihat kembali pada kesederhanaan kehidupan Nabi Saw dan para sahabatnya. Mereka mulai merenggangkan diri dari kehidupan mewah. Sejak saat itu, kehidupan zuhud menyebar luas di kalangan masyarakat. Para pelaku zuhud itu disebut zahid karena ketekunan mereka beribadah, maka disebut abid (abidin atau ubbad). Zuhud yang tersebar luas pada abad-abad pertama dan kedua Hijriah terdiri atas berbagai aliran.
Pertama adalah aliran Madinah. Sejak masa yang dini, di Madinah telah muncul para zahid. Mereka kuat berpegang teguh kepada al-Qur’an dan al-sunnah, dan mereka menetapkan Rasulullah sebagai panutan kezuhudannya. Diantara mereka dari kalangan sahabat adalah Abu Ubaidah al-Jarrah (w.18 H.), Abu Dzar al-Ghiffari (w. 22H.), Salman al-Farisi (w. 32 H.), Abdullah ibn Mas’ud (w. 33 H.), Hudzaifah ibn Yaman (w. 36 H.). Sementara itu dari kalangan tabi’in diantaranya adalah Sa’id ibn al-Musayyad (w. 91 H.) dan Salim ibn Abdullah (w. 106 H.).
Aliran Madinah ini lebih cenderung pada pemikiran angkatan pertama kaum muslimin (salaf), dan berpegang teguh pada zuhud serta kerendah-hatian Nabi. Selain itu aliran ini tidak begitu terpengaruh perubahan sosial yang berlangsung pada masa dinasti Umayyah, dan prinsip–prinsipnya tidak berubah walaupun mendapat tekanan dari Bani Umayyah. Dengan begitu, zuhud aliran ini tetap bercorak murni Islam dan konsisten pada ajaran-ajaran Islam.
Kedua adalah aliran Bashrah. Bahwa pada abad pertama dan kedua Hijriah terdapat dua aliran zuhud yang menonjol. Salah satunya di Bashrah dan yang lainnya di Kufah. Orang-orang Arab yang tinggal di Bashrah berasal dari Banu tamim. Mereka terkenal dengan sikapnya yang kritis dan tidak percaya kecuali pada hal-hal yang riil.
Mereka pun terkenal menyukai hal-hal logis dalam nahwu, hal-hal yang nyata dalam puisi dan kritis dalam hal hadits. Mereka adalah penganut aliran ahlus sunnah, tapi cenderung pada aliran-aliran mu’tazilah dan qadariyah. Tokoh mereka dalam zuhud adalah Hasan al-Bashri, Malik ibn Dinar, Fadhl al-Raqqasyi, Rabbah ibn Amru al-Qisyi, Shalih al-Murni atau Abdul Wahid ibn Zaid, seorang pendiri kelompok asketis.
Sementara itu, corak yang menonjol dari para zahid Bashrah ialah zuhud dan rasa takut yang berlebih-lebihan. Dalam hal ini Ibn Taimiyah berkata: “Para sufi pertama-tama muncul dari Bashrah. Yang pertama mendirikan khanaqah para sufi ialah sebagian teman Abdul Wahid ibn Zaid, salah seorang teman Hasan al-Bashri. Para sufi di Bashrah terkenal berlebih-lebihan dalam hal zuhud, ibadah, rasa takut mereka dan lain-lainnya, lebih dari apa yang terjadi di kota-kota lain. Menurut Ibn Taimiyyah hal ini terjadi karena, adanya kompetisi antara mereka dengan para zahid Kufah.
Ketiga adalah aliran Kufah. Ada yang mengatakan bahwa, aliran Kufah berasal dari Yaman. Aliran ini bercorak idealistis, menyukai hal-hal aneh dalam nahwu, hal-hal image dalam puisi, dan harfiah dalam hal hadits. Dalam aqidah mereka cenderung pada aliran Syi’ah dan Rajaiyyah, dan ini tidak aneh. Sebab, aliran Syi’ah pertama kalimuncul di Kufah. Para tokoh zahid Kufah pada abad pertama Hijriah ialah ar-Rabi’ ibn Khatsim (w. 67 H.) pada masa pemerintahan Mu’awiyah, Sa’id ibn Jubair (w. 95 H.), Thawus ibn Kisan (w. 106 H.), Sufyan al-Tsauri (w. 161 H.)
Keempar adalah aliran Mesir. Pada abad-abad pertama dan kedua Hijriah terdapat suatu aliran zuhud lain, yang dilupakan para orientalis, dan aliran ini tampaknya bercorak salafi seperti halnya aliran Madinah. Aliran tersebut adalah aliran Mesir. Sebagaimana diketahui, sejak penaklukan Islam terhadap Mesir, sejumlah para sahabat telah memasuki kawasan itu, misalnya Amru ibn al-Ash, Abdullah ibn Amru ibn al-Ash yang terkenal kezuhudannya, al-Zubair bin Awwam dan Miqdad ibn al-Aswad.
Tokoh-tokoh zahid Mesir pada abad pertama Hijriah diantaranya adalah Salim ibn Atar al-Tajibi. Al-Kindi dalam karyanya, al-wulan wa al-Qydhah meriwayatkan Salim ibn Atar al-Tajibi sebagai orang yang terkenal tekun beribadah dan membaca al-Qur’an serta shalat malam, sebagaimana pribadi-pribadi yang disebut dalam firman Allah: “Mereka sedikit sekali tidur di waktu malam.” (QS. al-Dzariyyat, 51:17).
Dia pernah menjabat sebagai hakim di Mesir, dan meninggal di Dimyath tahun 75 H. Tokoh lainnya adalah Abdurrahman ibn Hujairah (w. 83 H) menjabat sebagai hakim agung Mesir tahun 69 H. Sementara tokoh zahid yang paling menonjol pada abad II Hijriah adalah al-Laits ibn Sa‖ad (w. 175 H). Kezuhudan dan kehidupannya yang sederhana sangat terkenal. Menurut ibn Khallikan, dia seorang zahid yang hartawan dan dermawan.