“Setiap orang Arab yang berasal dari Mekkah dan demikian juga setiap orang Jawa yang kembali dari naik Haji, berlagak di Jawa seperti seorang Wali, dan rakyat begitu bodoh sehingga terlalu sering menganggap bahwa mereka itu mempunyai kesaktian. Saking dihormati demikian, mereka mudah saja menghasut rakyat agar berontak, dan mereka menjadi alat yang paling berbahaya di tangan penguasa-penguasa pribumi yang menentang kekuasaan Belanda. Para Padri Islam tersebut hampir selalu terbukti berperan dalam setiap peristiwa pemberontakan. Sejumlah besar mereka, biasanya dari kaum peranakan Arab, berkeliling dari satu ke lain daerah di pulau-pulau Timur itu, dan umumnya komplotan dan hasutan mereka itulah yang menyebabkan pemimpin-pemimpin pribumi terbawa untuk menyerang atau membunuh orang Eropa sebagai kafir dan pendatang.” (Raffles 1830, II:3)
Haji merupakan ibadah yang membutuhkan usaha yang lebih dari cukup. Mereka tidak hanya membutuhkan bekal perjalanan, tetapi juga bersiap kehilangan nyawa seandainya mara bahaya tiba-tiba mendatangi mereka di tengah perjalanan melalui jalur transportasi laut yang ditempuh selama kurang lebih enam bulan itu. Selain itu, pada pertengahan abad ke-19 M terjadi pandemi kolera yang merenggut banyak jamaah Haji termasuk dari Indonesia.
Thomas Stanford Raffles menyebut orang-orang yang telah berhaji sebagai “Padri Islam”. Penyebutan ini mungkin disebabkan karena kepulangan mereka dari Tanah Suci dapat membahayakan keamanan dan ketertiban di Tanah Air. Para penggerak Perang Padri (1803-1838), yakni Haji Miskin, Haji Sumanik, dan Haji Piobang, yang setelah sampai di Tanah Minang mereka menentang adat kebiasaan setempat. Mereka terpengaruh oleh ajaran Wahabisme di Arab Saudi dan ingin menerapkannya di Tanah Air. Beberapa pemberontakan lainnya seperti Pemberontakan Petani Banten (1888) juga dipimpin oleh para mursyid tarekat dan ulama yang telah melaksanakan ibadah haji.
Dalam rentang waktu abad ke-19 M, di tengah dunia Islam berada dalam genggaman Kolonialisme Barat, muncullah gerakan pembaharuan Islam. Dalam bidang politik salah satunya berkembangan paham Pan-Islamisme, yakni persatuan dunia Islam di bawah satu kekuasaan terpusat. Dari segi doktrin keislaman, berkembangan reformisme Islam yang menghendaki agar umat Islam kembali kepada Al-Quran dan Hadis. Dalam suasana seperti itu, perkumpulan umat Islam di Mekkah selama menjalani ibadah Haji, ditengarai sebagai semacam halaqoh internasional yang bertujuan untuk meruntuhkan kekuasaan para penjajah di negeri-negeri Islam seperti di Nusantara, India, dan Afrika Utara. Oleh sebab itulah maka pemerintah kolonial membuat berbagai kebijakan dalam pelaksanaan ibadah Haji.
Buku yang cukup lengkap memotret kebijakan terhadap ibadah haji pada masa lalu ditulis oleh sarjana Prancis Henri Chambert Loir, Naik Haji di Masa Silam: Kisah-Kisah Orang Indonesia Naik Haji 1482-1964. kebijakan pertama kali terhadap jamaah haji ini dilakukan oleh Gubernur Jenderal Daendels pada tahun 1810. Dia menetapkan bahwa demi keamanan dan ketertiban, para haji diwajibkan mempunyai sebuah surat jalan kalau bepergian di pulau Jawa.
Upaya berikutnya dalam rangka membatasi jumlah jamaah haji dilakukan pada tahun 1825 dengan mengharuskan para haji untuk membeli pasport dengan harga yang sangat mahal yaitu f.110 di kantor bupati. Jika dikonversi dengan mata uang rupiah hari ini, satu gulden kira-kira sebanding dengan angka 70.000-an rupiah. Calon haji yang tidak membeli pasport diberi sangsi membayar denda sebesar f.1000, yang pada tahun 1831 diperkecil menjadi f. 220. Pada tahun 1852, kebijakan ini dihapuskan oleh Gubernur Jenderal van Twist, seorang yang berhaluan liberal.
Kebijakan terhadap jamaah haji berikutnya dilakukan oleh Gubernur Jenderal Ch.F. Pahud yang berhaluan konservatif. Pemerintah di Batavia semakin dicemaskan dengan gerakan Pan Islamisme dan anti penjajahan yang mulai bergemuruh di berbagai negeri jajahan. Untuk itu, pada tahun 1859 diambil dua kebijakan yang lebih ketat: pertama, untuk memperoleh pasport dari bupati, calon haji harus membuktikan bahwa ia mempunyai uang cukup untuk membiayai perjalanannya sendiri dan menghidupi keluarganya selama menunaikan haji; kedua, setelah kembali di tanah air, mereka harus menghadap bupati dan menempuh ujian untuk membuktikan bahwa mereka benar-benar telah sampai di Mekkah, kalau gagal, ia dilarang memakai gelar Haji, mengenakan pakaian haji dan mendapatkan denda sebesar f.25 sampai f. 100.
Pada 1889, Sonuck Hurgronje datang ke Indonesia dan dilantik menjadi penasehat utama pemerintah kolonial Belanda dalam menghadapi umat Islam. Sebelumnya, dia bahkan telah bermukim di Mekah dengan menyamarkan namanya menjadi Abdul Ghofar dengan tujuan untuk meneliti para mukimin Indonesia di sana. Seperti yang diungkapkan oleh Aqib Suminto dalam bukunya Politik Islam Hindi Belanda, Snouck Hurgronje mengambil kebijakan untuk bersikap keras terhadap gagasan Pan-Islamisme. Dalam hal ini, pemerintah Belanda kemudian melakukan pengawasan secara ketat terhadap para mukimin di Mekah dengan mendirikan kantor konsulat di Jedah, mengawasi masyarakat keturunan Arab yang tinggal di Indonesia, termasuk kepada para kyai dan pesantren yang dianggap sebagai salah satu basis kekuatan Islam yang membahayakan pemerintah kolonial.