Setelah menjadi Muslim, Abu Dzar mengabdikan dirinya untuk melayani berbagai kepentingan pribadi dan keluarga Rasulullah Saw. Ia tinggal di Masjid Nabawi dan selalu mengawal dan mendampingi Nabi kemanapun beliau pergi. Kedekatan itulah yang membuatnya memiliki banyak kesempatan untuk menimba berbagai ilmu dari Rasulullah Saw. Rasulullah Saw. Sangat mencintainya dan selalu mencari Abu Dzar di setiap majlis ilmu yang beliau pimpin. Beliau menyesal bila di satu majlis, Abu Dzar tidak terlihat hadir. Sehingga beliau menanyakan, mengapa Abu Dzar tidak hadir.
Suatu hari, pernah Abu Dzar meminta jabatan kepada Rasulullah Saw., maka beliau langsung menasehatinya, “Engkau adalah orang yang lemah, dan ketahuilah bahwa jabatan itu adalah amanah. Sesungguhnya jabatan itu akan menjadi kehinaan dan penyesalan bagi orang yang menerimanya, kecuali orang-orang yang dapat mempergunakan jabatan itu dengan benar.”
Selain mendapat kehormatan di hati Nabi, Abu Dzar juga dikenal dan dikagumi para malaikat karena do’a yang ia baca. Muhammad bin Ali bin al-Hasan al-Turmudzi dalam bukunya Nawadir al-Ushul fi Ahadis al-Rasul mengisahkan, bahwa suatu hari, Nabi Muhammad didatangi malaikat Jibril, lalu datanglah Abu Dzar. Jibril melihat Abu Dzar dan berkata, “Dia adalah Abu Dzar.” Rasulullah Saw. bertanya keheranan, “Wahai malaikat kepercayaan Allah, kalian kenal Abu Dzar?.” Jibril Menjawab, “Ya kami kenal. Demi Zat yang mengutusmu dengan haq, sesungguhnya di antara penduduk bumi Abu Dzar lebih dikenal oleh penduduk langit, karena do’a yang dibacanya 2 kali setiap hari. Para malaikat kagum dengannya, maka panggil dia dan tanyakan apa do’a yang ia baca!.”
Rasulullah Saw. bertanya kepada Abu Dzar, “Wahai sahabatku, Engkau berdoa’ dua kali setiap hari?.” Abu Dzar menjawab, “Benar ya Rasulallah. Saya tidak pernah mendengar do’a itu dari siapapun. Do’a yang terdiri dari sepuluh kalimat itu saya dapatkan melalui ilham. Saya membacanya dua kali setiap hari. Saya menghadap kiblat untuk bertasbih, bertahlil, bertahmid dan bertakbir sebentar. Lalu saya berdo’a dengan sepuluh kalimat itu:
اَللَّهُمَّ إِنِّي أَسْأَلُكَ إِيْمَانًا دَائِمًا وَأَسْأَلُكَ قَلْبًا خَاشِعًا وَأَسْأَلُكَ عِلْمًا نَافِعًا وَأَسْأَلُكَ يَقِيْنًا صَادِقًا وَأَسْأَلُكَ دِيْنًا قَيِّمًا وَأَسْأَلُكَ الْعَافِيَةَ مِنْ كُلِّ بَلِيَّةٍ وَأَسْأَلُكَ تَمَامَ الْعَافِيَةِ وَأَسْأَلُكَ دَوَامَ الْعَافِيَةِ وَأَسْأَلُكَ الشُّكْرَ عَلىَ الْعَافِيَةِ وَأَسْأَلُكَ الْغِنَى عَنِ النَّاسِ
“Ya Allah, sungguh saya memohon iman yang kekal pada-Mu. Dan saya mohon hati yang khusuk pada-Mu. Dan saya mohon ilmu yang bermanfaat pada-Mu. Dan saya mohon keyakinan yang benar pada-Mu. Dan saya mohon agama yang lurus pada-Mu. Dan saya mohon keselamatan dari segala bahaya pada-Mu. Dan saya mohon kesempurnaan keselamatan pada-Mu. Dan saya mohon kekalnya keselamatan. Dan saya mohon bisa mensyukuri atas keselamatan. Dan saya mohon bisa kekayaan mengalahkan manusia.”
Jibril lalu berkata, “Hai Muhammad, demi Zat yang mengutusmu dengan haq, tidaklah seseorang di antara umatmu berdo’a dengan do’a ini kecuali akan diampuni dosa-dosanya meskipun sebanyak buih lautan atau sebanyak hitungan tanah. Dan tidaklah seseorang di antara umatmu menghafal do’a ini di dalam hatinya, kecuali ia akan dirindukan surga, dua malaikat akan memintakan ampun padanya dan akan dibukakan untuknya pintu-pintu surga, lalu berserulah para malaikat, ‘Wahai kekasih Allah, masuklah lewat pintu manapun yang engkau kehendaki.’”