Ketika usianya baru 11 tahun, tepatnya pada 1871, sang ayah Syeikh Abdul Latif mengajaknya pergi ke Makkah untuk menjalankan ibadah haji.
Namun sesampainya di Makkah, Ahmad (panggilannya) memutuskan untuk menetap di sana guna menuntaskan hafalan Alqurannya.
Selain ditunjuk sebagai imam dan khatib, ia juga pernah diangkat sebagai staf pengajar di Masjidil Haram. Itu terjadi karena selama berada di Makkah, ia dikenal sebagai sosok yang alim dan cerdas.