Abu Dzar al-Ghiffari termasuk golongan awal yang memeluk agama Islam. Saat ia mendengar adanya nabi baru di bumi Mekkah, ia mengirim saudaranya untuk mencari tahu tentang nabi dan ajaran baru tersebut. Selang kemudian ia menerima keterangan begini dan begitu, ia tak puas. Segeralah ia berangkat sendiri ke Mekkah.
Setiba di Mekkah, ia berkeliling di sekitar Ka’bah, lalu beristirahat di sana. Rebahan saja. Ia tak bertanya kepada siapa-siapa, tetapi telinganya terus menyimak obrolan orang-orang Mekkah. Ia berharap dengan cara begitu ia akan segera bisa mendengar obrolan tentang nabi baru itu, lalu berjumpa dengannya, Kanjeng Nabi SAW.
Berhari-hari ia di Mekkah, di sekitar Ka’bah, tak ada kemajuan informasi apa pun yang didapatnya. Sampai kemudian ia didekati oleh Ali bin Abi Thalib yang telah beberapa waktu itu diam-diam juga memperhatikannya.
Sebagaimana Abu Dzar al-Ghiffari yang tak berbicara apa-apa, Ali bin Abi Thalib pun tak berbicara, atau bertanya apa-apa kepada Abu Dzar al-Ghiffari. Setelah berhari-hari dalam keadaan begitu, barulah Ali bin Abi Thalib kemudian bertanya pelan-pelan tentang siapa dia dan apa maksud tujuan kedatangannya ke Mekkah. Abu Dzar al-Ghiffari menjelaskan singkat bahwa ia ingin berjumpa dengan Kanjeng Nabi SAW, sang nabi baru yang didengarnya.
Saat itu, dakwah Islam masih dijalankan dengan sembunyi-sembunyi oleh Kanjeng Nabi SAW. Ali bin Abi Thalib lalu memberi isyarat begini pada Abu Dzar al-Ghiffari: hendaknya berjalan mengikutinya, kalau ia berhenti, maka hendaklah ia pun berhenti atau melintas berlalu saja demi menghindarkan kecurigaan orang-orang Quraisy, dan terus begitu hingga ia memasuki sebuah pintu.
Abu Dzar al-Ghiffari mengikuti arahan rahasianya. Berjalan dengan menjaga jarak wajar. Setelah sampai di sebuah rumah, lalu Ali bin Abi Thalib memasukinya, ia pun mengikutinya, masuk, dan di situlah dilihatnya sosok yang sangat ingin dijumpainya.
Abu Dzar al-Ghiffari menguluk salam kepada Kanjeng Nabi SAW: “Assalamu’alaika ya RasulaLlah….”
Kanjeng Nabi SAW membalas ucapan salam itu, “Wa’alaikas salam. Siapakah engkau?”
Abu Dzar al-Ghiffari lalu menceritakan perihal dirinya bahwa ia berasal dari wilayah jauh yang selalu menjadi perlintasan bagi kafilah-kafilah dagang Mekkah saat menuju Syam dan sebaliknya. Rupanya, kaum asalnya dikenal sebagai penyamun yang kerap membegal kafilah-kafilah dagang untuk merampas harta bendanya.
Baca Juga, Logika Al-Quran VS Logika Musyrik
Tanpa berpanjang lebar, Abu Dzar al-Ghiffari segera mengucap syahadatain di hadapan Kanjeng Nabi SAW. Sejak saat itulah, ia memeluk agama Islam, lalu belajar Islam, dan menghapalkan sejumlah ayat al-Qur’an, langsung dari Kanjeng Nabi SAW.
Kanjeng Nabi SAW lalu menyuruhnya segera kembali ke kampung halamannya, mendakwahkan agama Islam di sana, sembari menunggu kabar lanjutan dari Beliau SAW untuk bergabung bila kelak keadaan sudah kondusif bagi umat Islam.