Banyak sekali sahabat-sahabat Rasulullah SAW yang begitu dekat dan patuh terhadap ajaran-ajaran yang dibawanya. Dan sahabat utama beliau lebih dikenal dengan sebutan Khulafaur Rasyidin. Sebutan ini khususnya diberikan kepada Empat sahabat Utama beliau yaitu Abu Bakar as Siddiq, Umar bin Khattab, Utsman bin affan dan Ali bin Abi Thalib. Kempat sahabat utama ini sangat terpengaruh dengan kehidupan yang sederhana dari Rasulullah SAW.
Suri tauladan yang ditinggalkan Nabi saw, menjadi contoh-contoh yang dijalani oleh sahabat-sahabat utama dalam kehidupan mereka. Kehidupan mereka yang sederhana, wara', tawadu' dan zuhud, itu memperlihatkan bahwa perhatian mereka semata ditujukan kepada Allah, Abu Bakar hidup dengan sehelai kain saja, dan terhadap lidahnya sendiri, pernah dipegangnya lidahnya dan berkata: "Lidah inilah yang senantiasa mengancamku. Dan kata beliau pula: "Apabila seorang hamba Allah telah dimasuki ujub (sombong) karena sesuatu daripada hiasan dunia ini, maka Tuhan akan murka kepadanya, sampai perhiasan itu dipisahkannya." Menurut pandangan hidup beliau, adalah sifat dermawan sebagai buah daripada taqwa, kekayaan adalah buah daripada keyakinan dan martabat didapat adalah buah dari tawadu'. Dan kata beliau pula : " Barang siapa yang mengecap rasa kesucian ma'rifat maka dia akan memandang sepi segala sesuatu selain Allah dan merasa tersendiri dalam banyaknya manusia.
Umar bin Khatab pun mempunyai jiwa bersih dan kesucian rohani yang begitu tinggi, sehingga Nabi SAW pernah berkata tentang Umar bin Khatab : " Tuhan Allah telah meletakkan kebenaran diujung lidah Umar dan hatinya"
Pangkat Khalifah dengan kekuasaan yang paling tinggi itu tidaklah mengurangi nilai kehidupan rohaninya, bahkan sejak jadi Khalifah bertambah meningkatlah kehidupan demikian kepada diri beliau. Ketika itu ada seorang bangsawan (ningrat) datang untuk menghadap kepada beliau, dan saat itu bengsawan melihat beliau sedang tertidur istirahat, karena banyaknya pekerjaan, beliau tertidurdibawah sebuah pohon kayu ditengah padang pasir, dan keringat mengalir di pipinya. Dan saat itu datang kiriman zakat dari negeri Yaman, diadakan suatu pertemuan besar, karena beliau ingin memeberikan nasehatnya. Lalu beliau memberikan nasehat supaya seluruh ummat tunduk dan taat kepada perintahnya. Tiba-tiba berdirilah seseorang yang hadir saat itu menghentikan pidatonya : "Kami tidak bisa taat kepada perintah engkau, ya Amirul Mu'minin!" "Mengapa?" tanya beliau. "Bagaimana kami bisa taat! Ini harta benda telah dikirimkan dari negeri Yaman dan telah dibagi-bagi. Padahal tuan hanya mendapat satu bagian saja, sebagaimana bagian orang lainnya. Pakaian tuan hanya satu helai untuk salin saja. Tidak ada pakaian musim panas dan tidak ada pakaian musim dingin. Sebelum tuan mengambil satu helai lagi untuk salin, kami tidak akan taat.
Bantahan yang tepat itu tidak dapat beliau jawab, lalu beliau menghadapkan mukanya kepada puteranya Abdullah, dan berkata : "Hai Abdullah, cobalah engkau berikan jawaban bantahan itu!"
Abdullah berdiri dan berkata kepada orang tersebut: "Untuk pakaian yang digunakan untuk salinan itu, biarlah saya yang menanggungnya." Baiklah jika demikian barulah kami akan taat dan patuh, kata orang tersebut.
Cobalah kita selidiki dengan seksama,mengapa sampai ada yang berkata seperti itu. Perkataannya bukan menyanggah dikarenakan kemewahan khalifah Umar tapi sebaliknya. Dan orang lain tidak ada yang menunjukkan wajah gembira yang dibuat-buat, karena orang yang berkata itu tidak mengambil muka dan tidak pula membantah. Semuanya itu membayangkan bagaimana bersarnya pengaruh hidup kerohanian itu dalam masyarakat mereka. Dan kita sangat menghormati perasaan orang yang berkata itu jika kita ingat bahwa Umar sebelum itu naik ke mimbar dan berpidato, padahal di bajunya ada dua belas tambalan, dan pada kain sampingnya terdapat empat tambalan.
Yang menjadi dasar pandangan hidup bagi mereka ialah dua perkara. Pertama sabar, kedua ridha, Umar pernah menulis sepucuk surat kepada Abu Musa Al Asy'ari, antara lain isinya adalah: "Amma Ba'du! Seluruh kebajikan dalam hidup yang jadi pokoknya ialah ridha. Kalau engkau sanggup hendaklah engkau ridha, dan kalau tak sanggup hendaklah sabar"
Utsman bin Affan, Khalifah yang ketiga, meskipun termasuk yang diberi Allah kelapangan rezeki, tidaklah kuarng pengaruh hidup kerohanian itu dalam jiwanya. Meskipun dalam soal pemerintahan belaiu agak lemah, karena telah tua, namun dalam kehidupan sendiri dalam rumah tangganya, adalah beliau seorang yang tidak pernah melepaskan Al Qur'an dari tangannya. Lepas dari menjalankan pemerintahan, bila hari telah malam, kerja beliau hanya menelaah Al Qur'an, kadang-kadang sampai tengah malam. Pernah beliau berkata: "Ini adalah surat dikirimkan oleh Tuhanku. Tidaklah layak bagi seorang hamba bilamana datang sepucuk surat dari yang dipertuannya akan melalaikan surat itu. Hendaklah senantiasa dibaca, supaya segala isi surat itu dapat dijalankan." Dan demikianlah terus menerus beliau perbuat, sehingga meninggalnya pun saat membaca Al Qur'an.
Ali bin Abi Thalib, Khalifah keempat pun sangat-sangat subur hidup kerohanian itu pada dirinya. Pekerjaan dan cita-cita yang besar menyebabkan dia tidak peduli bahwa pakaian yang dipakainya telah robek karena lapuk.. Dan kalau robek dijahitnya sendiri. Pernah orang bertanya: "Mengapa sampai begini, ya Amirul Mu'minin?" Beliau menjawab: "Untuk mengkhusyu' kan hati dan untuk menjadi teladan bagi orang yang beriman"
Sufyan bin Uyaynah berkata, bahwasanya Ali bin Abi Thalib yang sebesar-sebesar sahabat dalam hidup zahid. Imam Syafi'ie berkata: "Beliau adalah besar dalam zuhudnya dan orang yang zuhud ini tidaklah peduli akan sesuatu apapun kecuali Allah." Dan Ali bin Abi Thalib pernah berkata: "dengan sabar kita menghadapi segala kesusahan. Dan orang yang tercela adalah penolong syetan."
Hidup kerohanian yang demikian itu bukanlah saja terdapat pada Nabi dan empat sahabat-sahabat besar itu, bahkan terdapat juga pada sahabat-sahabat yang lain. Kehidupan Ahlus Suffah yang terkenal itu menjadi contoh bagi ahli-ahli zuhud yang datang dikemudian hari. Ahlus Suffah ialah sahabat-sahabat Nabi yang dibawa oleh keyakinan dan keimanan, datang kepada Nabi dan ikut berjuang menegakkan Agama Islam, ditinggalkan nya kampung halaman, anak istri dan harta bendanya dan hidup bermandi cahaya wahyu didekat Nabi SAW. Karena jumlahnya yang sangat banyak pada akhirnya Nabi SAW membuatkan asrama disamping masjid, untuk mereka tinggal. Kehidupan mereka-mereka itu dijamin oleh orang-orang kaya Madinah dan mereka duduk beribadah dan memperdalam perasaan hidup kerohanian di dalam asram Shuffahnya itu. Menurut keterangan Abu Na'im Al Asbahani, adalah kaum shuffah itu orang-orang yang hanya menampakkan satu tujuan hidup yaitu kebenaran. Sehingga tidak lagi mengikat hati mereka segala cabang-cabang atau Aradh (penghalang) apapun itu.
Tak ada yang merintangi mereka lagi untuk melakukan ibadah, sehingga menjadi teladan bagi orang-orang yang telah melepaskan diri dari ikatan duniawi (fuqaraa).
Tidak ada keluarga dan tidak ada harta, dan semuanya tidak membincangkan hati mereka dalam mengikat Allah. Tidak mereka berduka cita karena tidak mendapat dunia, dan yang menimbulkan gembira dalam hati mereka ialah karena kekayaan batin, sebab yakin akan kemenangan dikemudian hari.
Nabi SAW sendiri sangat sayang kepada mereka dan senantiasa menziarahi mereka di tempat kediaman mereka itu. Kaum keluaga beliaupun suka pula akan mereka dan menziarahi mereka juga.
Hasan bin Ali bin Abi Thalib dan Abdullah bin Ja'far sering berkunjung kesana.
Banyak butiran-butiran hikmah yang keluar dari mulut mereka, dan kehidupan mereka yang sederhana dan jernih muka mereka menghadapi kesulitan, semuanya menarik hati sahabat-sahabatnya yang lain buat datang ke tempat itu, Akhlak mereka tinggi-tinggi sehingga semua orang ingin hendak hidup sebagai mereka juga. Yang paling ternama diantara mereka adalah Abu Hurairah.
Lantaran kedudukan Ahlus Suffah ini dalam riwayat kehidupan rohani Islam, maka ada jugalah orang yang mengatakan bahwasanya kalimat shufi dalam ilmu tasawuf diambil daripada pondokan Ahli Shuffah itu, meskipun pada hakekatnya pengambil kalimat itu tidaklah pas.
Lain dari mereka tersebutlah perkataan tentang Tamin Al-Dary, yaitu seorang sahabat Nabi SAW yang dulunya memeluk agama Nashrani dan kemudian percaya kepada Islam. Beliau banyak sekali mengerjakan tahajjud, ayat yang senantiasa diulang-ulangnya ialah:
"Apakah menyangka orang yang melukai jiwa dengan berbuat jahat, bahwa hidupnya akan Kami serupakan dengan orang yang beriman dan beramal shaleh? Salah sekali persangkaan itu" ( Surat Jatsiyah ayat 21 )
Atau dibacanya pula ayat Tuhan: "Dan menjadikan Allah akan langit dan bumi dengan kebenaran, dan kelak akan diberi ganjaran tiap-tiap diri karena usahanya, dan tidaklah mereka akan teraniaya" (Ayat berikutnya dari surat diatas)
Abu Zar Al Ghiffari pun adalah seorang pemimpin rohani yang besar sekali, Yang memeluk agama Islam termasuk yang permulaan, yang ketika masuk Islam itu disiksa dan dianiaya. Tetapi keIslaman telah melekat dihatinya dan tidak dapat dihapus lagi. Ketika dilihatnya bahwa Mu'awiyah bin Sufyan di negeri Syam menjadi Gubernur telah tertarik kepada kemewahan hidup dan mengumpulkan harta rampasan, sehingga masyarakat telah lupa akan tujuan Islam yang sejati dan tenggelam dalam kekayaan harta benda yang menyebabkan lalai beragama, maka dengan terang-terang beliau telah membantahnya. Dan beliau bersedia diasingkan dari masyarakat oleh Khalifah Utsman bin Affan kesatu desa yang bernama Ribzah karena keyakinan beliau yang sedemikian itu.
Huzaifah bin Al Yaman dilukiskan kehidupannya itu oleh Abu Na'im demikian: "pada lahir ia kelihatan hidup miskin dan sengsara, tujuan hidupnya hanya dua perkara. Pertama lurus menuju Tuhan (Inabah) dan kedua introspeksi dan menyesali dosa."