Hidup kerohanian Islam (Tasawuf) itu sendiri pada saat-saat awal berkembangnya, tidaklah dapat dipisahkan dari kehidupan dan kebiasaan ummat Islam sehari-hari. Terutama pada sahabat-sahabat Nabi yang utama, mereka mencontoh kehidupan Nabi Muhammad SAW, yang menggabungkan antara kehidupan lahir (duniawi) dengan hidup kerohanian di dalam kehidupan sehari-hari.
Meskipun mereka menjadi Khalifah yang Utama , seperti Abubakar, Umar, Utsman dan Ali, namun segala warna kehidupan itu telah mereka pandangi dari segi hidup kerohanian. Disaat Umar bin Khattab memerintah, meskipun kunci kekuasaan seratus persen terpegang di tangannya, namun hidupnya sehari-hari tidaklah berubah daripada kehidupan orang Islam yang lainnya. Nabi SAW sendirilah yang meninggalkan contoh yang demikian pada mereka.
Pada suatu hari disaat Nabi Muhammad hidup, Umar masuk kedalam kamar beliau. Didapatinya tidak ada perhiasan, tidak ada perkakas dalam kamar itu, selain dari sebuah bangku yang alasnya terdiri dari jalinan daun kurma, yang tergantung di dinding hanyalah sebuah guriba (tempat air yang terbuat dari kulit kambing), persediaan air untuk berwudhu bagi beliau. Maka terharulah Umar melihatnya, sehingga titik air matanya. Lalu Nabi SAW menegurnya: "Gerangan apakah sebabnya engkau terharu dan air matamu titik, ya Umar?"
Umar menjawab: "Bagaimana saya tidak terharu, ya Utusan Utusan ! Hanya begini keadaan yang kudapati dalam kamar tuan, tidak ada perkakas, tidak ada kekayaan. Padahal seluruh kunci masyrik dan maghrib telah tergenggam di tangan tuan, kekayaan telah berlimpah-limpah".
Lalu beliau manjwab: "Aku ini adalah utusan Tuhan, ya Umar ! Aku ini bukanlah seorang Kisraa dari Persia, atau seorang Kaisar dari Roma. Mereka menuntut dunia, dan aku mencari akhirat !"
Pada suatu hari datanglah Jibril kepadanya, menyampaikan salam Tuhan dan bertanya: "Manakah engkau yang sudi ya Muhammad ? Menjadi seorang Nabi yang kaya raya, seperti Nabi Sulaiman, atau menjadi Nabi yang miskin seperti Ayub?" Lalu beliau menjawab: "saya lebih suka kenyang sehari dan lapar sehari! Dikala kenyang saya bersyukur kepada Tuhanku, dikala lapar saya bersabar atas cobaan Tuhanku."
Tetapi suatu cita-cita keagamaan yang setinggi itu, anjuran hidup kerohanian yang amat murni, telah sampai kepada taraf pelaksanaan Negara. Suatu hal yang tidak dapat dielakkan. Perluasan kekuasaan Islam, yang mulanya hanya semata-mata penyiaran agama, dengan sendirinya telah membawa akibat kekayaan yang melimpah limpah. Umar sendiri tercengang melihat kekayaan yang datang melimpah-limpah itu, seketika banyaknya tidak disangka-sangka.
Kekayaan datang, sehingga banyak diantara sahabat yang dahulunya hidup sederhana, telah menjadi orang kaya raya. Utsman bin Affan sendiri, Said bin Ash, Zubair bin Awwam, Abdurahman bin 'Auf dan lain-lain. Sekeliling kota Madinah yang sekarang ini hanya terbatas pada dinding tembok yang sempit, di zaman dahulu kala telah meluias tiga sampai empat kilo keluar kota. Padang pasir yang tandus sekarang ini, yang dicelah-celahi oleh padang rumput kering dan kebun kurma, dahulu adalah bekas taman-taman dan kebun indah dan villa yang cantik. Didekat telaga-telaga air yang jernih berdirilah gedung-gedung yang indah. Sampai sekarang masih kita dapati bekas villa Utsman bin Affan dan Sa'id bin Ash, kira perjalanan satu jam dari dalam kota Madinah. Hal ini belum terdapat dan belum nyata di zaman Nabi SAW.
Tetapi dikala dekat-dekat beliau akan meninggal, bahaya yang mengancam bagi keteguhan rohani, lantaran banyaknya harta benda akan sangat besar. Sudah terbayang dipandang beliau. Pernah beliau bertanya: "Bagaimankah sikapmu sekalian jika sekiranya kelak telah terbuka perbendaharaan Roma dan Persia?" Dengan cepat diantara sahabat menjawab, bahwa mereka akan memegang teguh agama yang asli. Tetapi dengan tersenyum beliau menyatakan bahwa pada waktu itu kamu akan berkelahi sesamamu, kamu akan pecah belah, sebagian memusuhi yang lain. Jumlahmu akan banyak laksana buih di lautan, tetapi lemah. Kamu akan hancur lebur laksana hancur lebur kayu yang dimakan rayap.
"Apa sebabnya?" Tanya para sahabat.
Lalu beliau tanyakan: "Sebabnya ialah karena ketika itu hatimu telah terpaut kepada dunia, dan kamu telah takut menghadapi maut" Harta benda dan kemegahan, pangkat dan kebesaran akan menimbulkan fitnah diantara kamu.
Beliau memuji keteguhan rohani ummatnya: "Setan telah putus asa akan memperdayakan kamu. Rahmat Tuhan atas kamu semuanya, ummatku adalah ummat yang terhormat, ummat yang mulia. Mereka tidak akan dapat siksa di akhirat lantaran keyakinan agamanya telah teguh. Pangkal keruntuhan kamu ialah karena fitnah yang timbul dalam kalangan kamu sendiri."
Demikianlah "Nubuwat" yang telah beliau berikan, kandungan ilmu masyarakat yang sangat mendalam, yang mengenai akan seluruh waktu dan tempat. Keteguhan rohani diracun oleh kebendaan.
Setelah beliau meninggal dunia, terjadilah apa yang beliau sampaikan itu.
Fitnah yang maha hebat telah terjadi lantaran harta. Muawiyah yang menjadi Gubernur di negeri Syam telah "terpaksa" meniru "etika" dan "protokol" yang dipakai oleh raja-raja Persia dan Romawi. Sehingga seketika Umar bin Khattab datang kesana, dia terpaksa meminta keterangan kepada Muawiyah apa sebab dia telah merubah kesederhanaan bangsa Arab, bahkan kesederhanaan warisan Nabi SAW kepada susunan cara beraja-raja.
Muawiyah menjawab, bahwa adat istiadat yang demikian, terpaksa dilalukan untuk menjaga martabatnya sebagai"Gubernur" dari suatu negara besar berhadapan dengan bangsa-bangsa dan kerajaan-kerajaan lain, yang diliputi oleh kemegahan. Memang alasan demikian bisa dikemukakan dan sulit untuk dibantah. Tetapi pengetahuan tentang tingkat-tingkat pergolakan jiwa pribadi manusia, sulit untyk dibatasi. Apabila semacam perkara yang kurang pasti, telah dipastikan, akhirnya kita akan diikatnya. Kemegahan dan kemewahan tidaklah dapat dikekang, apabila pada awal-awalnya tidak dapat ditahan.
Lantaran melihat bahwa segala sesuatu telah banyak berubah, dari kesederhanaan yang ditinggalkan Nabi SAW, banyaklah sahabat-sahabat utama mengundurkan diri dari pergolakan demikian. Diantaranya ialah Abdullah bin Umar, putera utama dari Umar bin Khattab yang sangat shaleh. Dan m yang paling masyhur di waktu itu ialah Abu Zarr. Jika Abdullah bin Umar melawan secara diam-diam, adalah Abu Zarr membantah dengan terang-terangan..Sari ketulusan beragama dilihatnya telah kendur lantaran mandi dalam kekayaan. Telah mulai terdapat yang kaya, sangat kaya. Yang miskin, sangat miskin. Orang berlomba mengumpulkan kekayaan untuk dirinya sendiri. Gubernur sendiri yang menjadi pemimpinnya.
Abu Zarr merasa bahwasanya kepanasan iman karena perjuangan agama yang dimiliki oleh sahabat-sahabat utama yang mula-mula menyatakan kepercayaan kepada ajaran Nabi SAW, tidaklah dikenal oleh angkatan-angkatan muda yang masuk kemudian. Mu'awiyah menyatakan dirinya masuk Islam, adalah setelah Islam menang. Adalah setelah penaklukan Mekkah. Dia memakan "pisang terkubak" saja, padahal sebelum itu bersama ayah dan ibunya, dia termasuk orang-orang yang menentang. Agaknya yang menyilaukan matanya kepada Islam, adalah karena telah datang keuntungan-keuntungan yang berlipat ganda kepada Islam. Nabi Muhammad SAW yang berjiwa besar dan mulia menerima masuknya orang-orang semacam Mu'awiyah ke dalam Islam dengan tangan terbuka, dan memberinya kepercayaan yang penuh dalam pekerjaan-pekerjaan penting, dan oleh Umar diangkat menjadi Gubernur di negeri Syam, padahal bukan sedikit "Assabiqul awwalun" (pendiri yang mulia-mulia) itu masih hidup dalam kesederhanaannya atau kemiskinannya.
Rupanya hal yang seperti ini terjadi juga dalam riwayat dimana-mana.
Pribadi Abu Zarr adalah sangat besar, karena dia tidak memiliki apa-apa dan tidak dimiliki oleh apa-apa. Dengan berani dan terus terang dia menentang pengumpulan harta benda untuk kepentingan diri sendiri. Harta benda adalah kepunyaan atau pinjaman Allah, dan harus dinafkahkan untuk jalan Allah.
"Orang-orang yang mengumpulkan harta benda, emas dan perak, dan tidak dinafkahkannya pada jalan Allah, beri ancamanlah ia dengan azab dan siksa yang pedih". (surat Taubat ayat 36)
Inilah ayat Al Qur'an yang dikemukakan oleh Abu Zarr buat menyanggah perubahan yang telah bertumbuh itu.
Bagaimana akibatnmya? Mu'awiyah memandang bahwa Abu Zarr telah menyanggah kekuasaan dan melemahkan semangat perjuangan, mengganggu ketentraman umum. Lalu dikirim laporan kepada Khalifah Utsman di Madinah, dan Abu Zarr ditahan, lalu diantarkan ke Madinah. Oleh Khalifah Utsman beliau "diasingkan" ke luar kota Madinah, ke sebuah dusun bernama Rizbah.
Dengan peristiwa yang berlaku kepada Abu Zarr ini, mulailah muncul golongan kaum Zahid, mengutamakan hidup kebatinan dan kerohanian dan menjuruskan perhatian dan kehidupan kesana.
Bertambah berkembang kemewahan dan kemegahan, bertambah diliputi kerajaan-kerajaan Islam oleh kekayaan-kekayaan yang berlimpah dan golongan-golongan orang berada, aristokrasi dan kekuasaan Khalifai-khalifah yang tidak terbatas, bertambah terdapatlah perbandingan hidup yang menyolok mata, baik di zaman akir bani Umayyah apalagi di zaman bani Abbas.
Berdirinya kerajaan-kerajaan Islam, jadinya untuk membela kepentingan yang berkuasa. Kekuasaan pemerintahan Khalifah-khalifah tidak ada batas sama sekali. Umar bin Abdul Aziz hendak kembali menegakkan kekuasaan negara, yang sesuai menurut ajaran Nabi SAW. Sampai harta benda rakyat yang dirampas oleh kekuasaan (yang bernama Mazalim), beliau kembalikan kepada yang empunya, tetapi setelah beliau wafat, keadaan kembali sebagaimana sedia kala.
Setelah Abu Zarr yang terkenal di zaman sahabat itu., terkenallah nama Sa'id ibnu Zubair yang kuat pribadinya itu. Seorang yang betul-betul zuhud dan berani menegur yang bersalah, walaupun yang bersalah itu Amir (pemimpin) atau Khalifah. Maka diangkatlah oleh Khalik Abdul Malik bin Marwan menjadi Gubernur di Irak, seorang pahlawan gagah perkasa bernama Hajjaj bin Yusuf. Dia terkenal kejam, membunuh beribu ribu orang untuk menegakkan kekuasaan bani Umayyah. Tetapi Sa'id bin Zubair, tidaklah terikat oleh kekejaman itu. Dia tetap berani menegur yang keluar daripada jalan kebenaran agama menurut keyakianannya. Maka dituduhlah dia penganut Mazhab Khawarij, mazahab yang sangat dibenci dan ditakuti di masa itu, dan dia ditangkap. Sampai saatnya akan dibunuh, dia masih tetap menentang Hajjaj dengan sikapnya yang gagah perkasa dan tabah. Seketika kaki dan tangannya telah dirantai, anak perempuannya menangis, lalu beliau berkata: "Apa yang kau takutkan anakku! Apa yang kau tangiskan? Bagi ayah tidak perlu mempertahankan hidup lagi, asal tetap dalam keyakinan agama. Usia ayah sudah cukup lama. 57 tahun!"
Ketika akan dieksekusi, Hajjaj berkata kepada algojo: "Jangan hadapkan mukanya kepada kiblat, biar dia mati membelakangi kiblat!'
Dia menjawab: "Kemanapun engkau hadapkan mukaku, disanalah wajah Allah!"
Dan setelah 15 hari beliau wafat, mati pulalah Gubernur Hajjaj yang kejam itu. Sebab sejak Sa'id bin Zubair dibunuh, setiap malam dia terbangun dari tidur, karena kakinya terasa disentakkan oleh Sa'id bin Zubair. Kejadian ini di tahun 95 H (706 M).
Di zaman Khalifah Harun Al Rasyid sudahlah jauh perbedaan bentuk kerajaan dizaman khalifah-khalifah yang berempat. Keistimewaan dalam istana, semuanya sudah menurut kebiasaan Persia belaka. Khalifah sudah menjadi wakil Tuhan di bumi. Harta benda melimpah-limpah di istana dan dihambur-hamburkan kepada orang-orang yang suka merangkai syair untuk memuja dan memuji baginda. Kita dapat melihat bayangan kemegahan di zaman itu di dalam cerita-cerita 1001 malam. Maka disamping kemewahan dan kemegahan yang tidak terbatas itu, disamping kemajuan bersyair dan berdayang, inang pengasuh,. Kemajuan penyair seperti Abu Nawas, atau Basyar ibn Burd dan lain-lain, dan disamping penyair-penyair yang mendapat hadiah puluhan ribu dinar, ratusan unta dan ribuan hektar tanah, kelihatanlah rakyat yang hidup sangat miskin, tidak mempunyai rumah yang bagus, makanan yang sehat. Di waktu yang demikianlah yaitu sejak abad pertama dan sampai ujung abad kedua, hidup ahli-ahli kerohanian dan kebatinan yang besar-besar. Mereka berani hidup dalam kesederhanaan, bahkan kemiskinan dan kefakiran. Mereka tidak mau berdekat dengan istana. Mereka tidak mau takluk dengan kemegahan istana. Itulah orang-orang seperti Hasan Bashri, Fusail bin 'Ayadh, Sufyan Sauri, Ibnuss Samaak, Rabiatul 'Adawiyah dan lain-lain.
Diantaranya juga Imam Malik bin Anas, yang terkenal dengan nama Imam Malik, yang terkenal juga "Imam Dar ul Hijrah" (Imam negeri Madinah). Mencurahkan pikiran beliau tentang perkembangan Hadits Nabi SAW dan Fiqhi. Ketika Almansyur datang dari Baghdad hendak naik haji, singgahlah beliau ke Madinah dan ingin bertemu dengan beliau. Beliau tidak mau menemui Khalifah Al Mansyur yang besar itu, bahkan beliau berkata: Al 'ilmu yu'ta, wa laa ya 'ti (Ilmu didatangi bukan mendatangi).
Sehingga Al Mansyur yang harus bersimpuh di hadapan beliau, takluk akan kebesaran pribadinya.