Kajian dalam permasalahan Fikih memunculkan mazhab dalam Islam. Mazhab mulai muncul setelah masa sahabat. Sedangkan pada masa sahabat, para sahabat tidak dengan jelas bermazhab pada suatu mazhab tertentu, dan jika dirundung masalah agama para sahabat langsung bertanya kepada ahlinya. Misalkan bertanya langsung kepada Aisyah, merujuk pada ijtihad Abu Bakar, Umar bin Khattab, Ibnu Abbas serta sahabat Rasulullah SAW yang lainnya. Sehingga dalam kajian Fikih Islam sering dijumpai istilah seperti Fikih atau Ijtihad Umar serta Fikih Ibrahim al-Nakha’I. Ijtihad para sahabat tersebut tidak dibukukan, hanya sekadar menyambungkan dari lisan ke lisan.
Para sahabat wafat, berganti generasi berikutnya. Ulama-ulama tingkat tabi’in sudah mulai mengambil dalil secara metodologis dengan menuliskan dan membukukan ijtihad mereka. Ijtihad tersebut sudah melalui fase pengakuan dan disebarluaskan. Ulama yang menjadi rujukan mazhab di antaranya yaitu Imam Abu Hanifah, Imam Malik bin Anas, Imam Syafi’I, Imam Ahmad bin Hanbal Imam Ibnu Hazm al-Dzahiri dan Imam Ja’far Muhammad al-Shadiq. Oleh sebab sudah dituliskannya ijtihad para imam tersebut maka Imam al-Razi dan Imam al-Haramein menganjurkan dan menekankan untuk bermazhab, mengikuti ijtihad para imam mazhab yang sudah diakui pengambilan hukumnya.
Selain itu, Para ulama juga berasalan bahwa tuntunan bermazhab tersebut disebabkan karena mujtahidin atau orang yang berkompeten untuk memberikan ijitihad berpandangan bahwa sangat tidak mungkin bagi setiap mukallaf (orang muslim yang dibebani kewajiban) melakukan pengambilan hukum secara langsung dan mandiri dari al-Qur’an dan Hadis, lebih-lebih jika tidak memahami bahasa Arab dengan baik dan benar.
Sebenarnya, kewajiban untuk bermazhab tersebut bukanlah sama halnya dengan hukum wajib seperti yang tertulis dalam al-Qur’an: wajib salat, wajib puasa Ramadhan dan wajib zakat. Akan tetapi, kewajiban bermazhab tersebut berdasarkan ijtihad dan kesepakatan ulama. Sehingga kurang tepat jika kewajiban bermazhab di sini diartikan sama paham dengan pengertian wajib akan salat, puasa Ramadhan dan zakat yang hakikat kewajibannya sudah tertulis dalam al-Qur’an.
Berdasarkan argumen dari para mujtahidin dan para imam tadi maka menjadi keharusan bagi mukallaf, umat muslim untuk bermazhab. Fatwa ulama tersebut berlandaskan pada firman Allah SWT surat al-Nahl ayat 43:
فَاسْأَلُوا أَهْلَ الذِّكْرِ إِنْ كُنْتُمْ لَا تَعْلَمُونَ
“…maka bertanyalah kepada orang yang mempunyai pengetahuan jika kamu tidak mengetahui”
Berdasarkan ayat tersebut maka wajib untuk bertanya persoalan agama kepada para ulama yang memiliki kredibilitas dan kemampuan yang mumpuni. Para ulama tersebut tidak lain adalah imam mazhab yang sudah disebutkan tadi. Artinya, wajib bagi mukallaf untuk bermazhab. Di samping itu, Allah SWT juga berfirman dalam al-Qur’an surat al-Nisa ayat 83:
وَلَوْ رَدُّوهُ إِلَى الرَّسُولِ وَإِلَىٰ أُولِي الْأَمْرِ مِنْهُمْ لَعَلِمَهُ الَّذِينَ يَسْتَنْبِطُونَهُ مِنْهُمْ ۗ وَلَوْلَا فَضْلُ اللَّهِ عَلَيْكُمْ وَرَحْمَتُهُ لَاتَّبَعْتُمُ الشَّيْطَانَ إِلَّا قَلِيلًا
“…dan kalau mereka menyerahkannya kepada Rasul dan Ulil Amri di antara mereka, tentulah orang-orang yang ingin mengetahui kebenarannya akan dapat mengetahui dari mereka (Rasul dan Ulil Amri)”.
Ibnu Abbas dari Ibnu Kastir dalam kitab Tafsir al-Qur’an al-‘Adzim memberikan penjelasan makna dari Ulil Amri tersebut adalah para ahli Fikih. Sehingga sangat jelas bahwa merupakan suatu keharusan untuk mengikuti ijtihad para imam mazhab bagi para mukallaf yang tergolong awam. Lain halnya jika sudah mampu untuk mengambil hukum atau melakukan istinbath al-hukm secara sendiri dan disebut dengan mujtahid. Akan tetapi, untuk menjadi seorang mujtahid harus memenuhi syarat menjadi mujtahid terlebih dahulu, tidaklah mudah.
Kemudian, catatan penting yang harus diperhatikan dalam bermazhab kepada imam mazhab tertentu yang sudah disebutkan tadi adalah “jika sudah memegang dan yakin dengan satu mazhab maka tidak diperkenankan mencampuradukkan mazhab atau ijtihad para imam mazhab tersebut dengan dalih mengambil ijtihad yang ringan, enak dan tidak menyusahkan”. Atau dengan kata lain, hanya ingin yang gampang-gampang dilakukan saja.