Popularitas Ka’ab al-Ahbar tercatat rapi dalam sejarah. Namanya sering disebut-sebut bersama tokoh-tokoh Yahudi lain yang telah memeluk Islam seperti Abdullah bin Salam dan Wahab bin Munabbah.
Ka’ab bernama lengkap Abu Ishaq Ka’ab bin Mati’ al-Himyari, yang kemudian populer dengan panggilan Ka’ab al-Ahbar. Kata “Al-Ahbar” dibelakang namanya menunjukkan kedalaman ilmunya.
Ka’ab adalah keturunan Dzhu Ra’in atau Dzu al-Kila’. Keluarganya berasal dari keturunan Yahudi Yaman kemudian pindah ke Madinah dan terakhir menetap di Homs, Syiria pada masa pemerintahan khalifah Utsman bin Affan, hingga meninggal tahun 32 H dalam usia 140 tahun.
Ibnu Sa’ad dalam al-Thabaqat al-Kubra memasukkan Ka’ab ke dalam kelompok pertama tabi’in di Syam. Sebagai seorang tabi’in, ia banyak meriwayatkan hadis-hadis Rasulullah secara mursal, Umar, Shuhaib dan Aisyah. Hadis-hadisnya banyak diriwayatkan oleh Mu’awiyah, Abu Hurairah, Ibnu Abbas dan Atha’ bin Abi Rabah.
Tentang kedalaman ilmunya, Abu Darda’ dan Mu’awiyah mengakui bahkan memujinya. Abu Darda’ mengatakan, “Ibnu al-Himyari termasuk orang yang alim.” Sementara menurut Abdullah bin Zubair, Ka’ab memiliki prediksi yang sering tepat.
Mengenai kredebilitas Ka’ab, Muhammad Husain al-Dzahabi menolak segala bentuk tuduhan negatif terhadapnya. Alasannya, Ibnu Abbas dan Abu Hurairah mustahil mengutip riwayat dari Ka’ab, jika Ka’ab memang pendusta. Imam Muslim juga memasukkan hadis-hadis dari Ka’ab ke dalam kitab Sahihh-nya, terutama di bab-bab akhir dalam kitab al-Iman.
Muhadditsin lain seperti Abu Dawud, Turmudzi dan Nasa’i juga memasukkan riwayat-riwayat dari Ka’ab dalam kitab-kitab Sunan mereka. Menurut al-Dzahabi, tentu saja karena mereka menganggap bahwa Ka’ab adalah orang yang tsiqqah.
Namun ada juga dari kalangan sahabat yang menganggap Ka’ab sebagai pendusta, di antaranya Qais bin Kharsyah al-Qaisi. Ibnu Atsir dalam Asad al-Ghabah mengutip riwayat dari Yazid bin Abi Ziyad al-Tsaqafi bahwa suatu hari, Qais bin Kharsyah menemani Ka’ab dalam sebuah perjalanan. Ketika sampai di Shiffin, tiba-tiba Ka’ab berhenti, kemudian berujar, “Lailaha illa Allah. Di tempat ini, akan ada darah orang-orang Islam yang mengalir yang belum pernah terjadi di tempat lain di bumi ini.”
Mendengar itu, Qais sangat marah, lalu ia bertanya, ‘Apa yang engkau maksud wahai Abu Ishaq?.’ Itu adalah hal gaib yang hanya diketahui Allah.’ Ia berkata, ‘Apa yang akan terjadi dan telah terjadi di muka bumi ini, semuanya telah tertulis di dalam Taurat (Perjanjian Lama) yang diturunkan kepada Musa bin Imran. Kemudian Qais meninggalkannya.
Terlepas dari perbedaan tersebut, yang jelas Ka’ab adalah mantan Yahudi asal Yaman yang datang ke Madinah pada rezim Umar bin al-Khatthab, dan kemudian masuk Islam. Meski telah masuk Islam, Ka’ab masih tetap mempelajari dan membaca Taurat. Seorang laki-laki pernah melihat Amir bin Abdullah bin Qais dan Ka’ab di sebuah masjid sedang membaca lembaran-lembaran Taurat.
Ketika Rasulullah mulai memperkenalkan risalahnya, Ka’ab sudah mendengar tentang munculnya beliau, tetapi ayahnya menuliskan beberapa ayat dari kitab Taurat, lalu memberikan kitab tersebut kepadanya.
Ayahnya berkata, “Amalkan ini!. Kemudian ayahnya menyegel kitab–kitab Taurat lain yang dimilikinya dan berpesan agar jangan sekali-kali membuka segelnya. Ka’ab pun mematuhi wasiat ayahnya. Ketika Islam mulai berkembang, Ka’ab mulai berpikir dan berkata di dalam hatinya, ‘Jangan-jangan ayahku menyembunyikan ilmu dariku.
Sebaiknya, aku buka segel itu lalu aku baca kitab-kitab itu.’ Mulailah Ka’ab membacanya, dan ternyata di dalam kitab Taurat tersebut, ia menemukan penjelasan tentang sifat Nabi Muhammad dan umatnya. Maka, ia segera pergi menemui Umar bin Khatthab dan masuk Islam.