Sebagai salah satu sahabat Nabi, Abu Dzar dianggap figur yang gigih menyebarkan konsep keadilan dan persamaan pada masa awal Islam. Namanya menjadi populer karena partisipasinya dalam memanaskan situasi menentang kebijaksanaan Usman dan pembantu-pembantunya. Abu Dzar sempat membuat Mu’awiyah yang waktu itu menjadi gubernur, marah karena kritik tajamnya kepada Mu’awiyah.
Di samping itu, Abu Dzar juga melakukan kritik terhadap kelemahan pemerintahan Utsman dibanding kebijaksanaan dan keberhasilan pendahulunya, yakni ‘Umar. Ia secara terbuka mengungkap korupsi dan penumpukan harta oleh penguasa-penguasa Damaskus termasuk Mu’awiyah.
Ia menolak pemakaian istilah mal Allah (harta Allah) untuk mengganti istilah yang sudah ada yakni kekayaan umat Islam (mal al-muslimin) yang menurutnya lebih mencerminkan kenyataan tentang pemilikan umat. Sebab pemakaian istilah baru tersebut bisa memudahkan penguasa-penguasa merampas hak umat dengan dalih pada pemilikan Tuhan.
Seruannya yang terkenal adalah, “Wahai para hartawan, perhatikanlah nasib fakir miskin” pernah diucapkan di hadapan penguasa-penguasa Damaskus. Karena kegiatannya yang tidak menguntungkan penguasa Damaskus, Mu’awiyah mengusirnya dan menyerahkannya kepada ‘Utsman di Madinah.
Pernah suatu ketika khalifah ‘Utsman bin ‘Affan memberikan 300.000 dirham (kira-kira setara dengan 45 miliar) kepada Marwan bin Hakam dan 300.000 dirham lagi kepada Al-Harits bin Al-Hakam bin Abi Al-‘Ash. Karena tidak setuju dengan perbuatan sang khalifah, Abu Dzar menegur dengan kata-kata, “Gemberikanlah orang-orang yang menimbun harta dengan siksa yang pedih”. Sambil mengeraskan suaranya Abu Dzar membaca surat al-Taubah ayat 34 yang artinya:
“Dan orang-orang yang menyimpan emas dan perak dan tidak menafkahkannya pada jalan Allah, Maka beritahukanlah kepada mereka, (bahwa mereka akan mendapat) siksa yang pedih.” (Q.S. Al-Taubah:34)
Teguran Abu Dzar tersebut akhirnya dilaporkan oleh Marwan bin Al-Hakam kepada sang khalifah. Sang khalifah pun menyuruh utusannya untuk menemui Abu Dzar dan menyuruhnya agar segera menemui khalifah ‘Utsman. Namun Abu Dzar justru mengatakan, “Apakah Utsman melarang aku dari membaca kitab Allah dan mengabaikan orang yang meninggalkan perintah Allah?. Demi Allah, memilih keridlaaan Allah lebih aku sukai dan lebih baik sekalipun aku dibenci ‘Utsman daripada mendapat ridla ‘Utsman tapi dimurkai Allah.”
Selain kepada ‘Utsman, Abu Dzar juga banyak melakukan kritik terhadap kebijakan-kebijakan Mu’awiyah. Mu’awiyah pernah memberikan 300 dinar (sekitar 510 juta) kepada Abu Dzar. Namun, ia menolaknya. Katanya kepada utusan Mu’awiyah itu, “Jika uang ini adalah gaji yang tidak kalian berikan kepadaku di tahun-tahunku, maka aku akan menerimanya. Sebaliknya, jika akan menjadi malapetaka, maka aku tidak membutuhkannya.”
Selang beberapa hari, Mu’awiyah mengutus Maslamah al-Fahri membawa 200 dinar (sekitar 340 juta) untuk diberikan kepada Abu Dzar. Maka ia juga menolaknya. “Apa kamu tidak menemukan orang yang lebih membutuhkan daripada aku sehingga engkau membawakanku harta,” kata Abu Dzar kepada Masalamah.
Ketika Mu’awiyah membangun istana megah di Damaskus, Abu Dzar juga menegurnya. Ia berkata kepada Mu’awiyah, “Wahai Mu’awiyah, jika istana ini dibangun dari harta Allah, berarti engkau telah berkhianat. Tapi, jika istana ini dibangun dari hartamu, maka engkau berlebihan.”
Mu’awiyah lalu terdiam. Abu Dzar melanjutkan perkataannya, “Demi Allah, apa yang aku lihat tidak ada dalam kitab Allah, juga dalam sunnah Nabi. Demi Allah, aku melihat kebenaran telah padam, kebatilan mulai menyala, kejujuran didustakan, egoisme yang tidak didasari taqwa, dan kebaikan telah dikalahkan”.