Di awal tahun 1941, merupakan titik sejarah yang tidak dapat dilupakan oleh masyarakat Islam Negeri Pahang Darul Makmur ini khasnya dan orang-orang Islam di Malaya ketika itu secara amnya kerana pada tahun tersebut telah lahir sebuah pusat pengajian tinggi Islam yang ulung di negeri ini untuk memberi peluang pelajaran dan pendidikan agama kepada anak-anak negeri ini.Kelahirannya sesuai dengan keadaan di mana masyarakat Islam di seluruh negeri ini berhajat kepada pusat penyebaran ilmu dan pendidikan Islam.
Sesungguhnya, Al- Marhum Sultan Abu Bakar Riayatuddin Al-Muadzam Shah Ibni Al-Marhum Sultan Abdullah, Raja pemerintah Negeri Pahang Darul Makmur ketika itu telah berusaha ke arah kemajuan Islam di negeri ini.Kebawah Duli Yang Maha Mulia Sultan bercita-cita hendak mendirikan sebuah pusat pengajian tinggi Islam.Cita-cita baginda itu telah dialu-alukan oleh Ahli-ahli Majlis Ugama Islam dan para ulamak bagi memenuhi keperluan masyarakat Islam dari segi pelajaran dan pendidikan Islam negeri ini.Walaubagaimanapun pada ketika itu telah wujud beberapa buah madrasah agama peringkat rendah di negeri Pahang Darul Makmur ini,di mana anak orang Islam dapat mempelajari bahasa Arab dan ilmu agama.Keperluan sebuah pusat pengajian tinggi Islam bagi membolehkan para pelajarmenyambung pelajaran ke peringkat yang lebih tinggi menjadi semakin penting.Setelah diperkenankan oleh Kebawah Duli Yang Maha Mulia Sultan untuk mendirikan pusat pengajian tersebut di sebuah kawasan berhampiran padang Polo dalam daerah Pekan, maka Majlis Anggota Islam Pahang yang diketuai oleh Tengku Besar Pahang Al-Marhum Tengku Sulaiman Ibni Al-Marhum Sultan Ahmad telah memainkan peranan penting untuk melaksanakan projek tersebut.Pusat pengajian tersebut telah selesai dibina dengan menggunakan wang zakat fitrah yang dikumpulkan dalam Baitul-Mal dan ianya diberi nama “ Kulliah Al-Lughah Waddin As-Sultan Abu Bakar Pahang”.
Pengetua pertama Kulliah Al-Lughah Waddin As-Sultan Abu Bakar Pahang ialah Sheikh Abdul Rahim bin Ibrahim As Sammanudi,seorang ulamak dari negara Mesir dan merupakan lulusan daripada Universiti Al-Azhar,Mesir.Kedatangan beliau adalah sebagai menyahut jemputan khas daripada Duli Yang Maha Mulia Sultan.Di samping itu terdapat beberapa orang guru sebagai penolong kepada beliau, di antaranya ialah Al-Fadhil Ustaz Khudri yang berasal dari Sumatera,Indonesia dan yang lain-lainnya adalah anak negeri Pahang Darul Makmur sendiri. Kulliah Al-Lughah Waddin As-Sultan Abu Bakar Pahang telah dibuka dengan rasminya oleh Kebawah Duli Yang Maha Mulia Sultan Abu Bakar Riayatuddin Al-Muadzam Shah Ibni Al-Marhum Sultan Abdullah pada 24hb Jamadil Akhir 1360 Hijrah bersamaan 30 Mei 1941.Pada ketika itu sistem persekolahan dan sukatan pelajaran telah digubal oleh Sheikh Abdul Rahim bin Ibrahim As Sammanudi dan guru-guru lain. Penumpuan diberi kepada pembelajaran agama dan bahasa Arab serta mendalaminya dan ianya sesuai dengan matlamat penubuhan pusat pengajian ini. Selepas beberapa tahun, pelajar-pelajar di sekolah ini telah dapat bertutur bahasa Arab dengan baik.
Pada tahun 1950, Sheikh Abdul Rahim bin Ibrahim As Sammanudi telah memegang jawatan baru sebagai Mufti Negeri Pahang Darul Makmur.Beliau telah digantikan oleh pengetua baru iaitu Tuan Haji Mohd. Mokhtar bin Ahmad, salah seorang ulamak terkemuka dari negeri Kelantan Darul Naim. Pada masa beliau, sukatan pelajaran disusun semula bagi meningkatkan pengajian dan pendidikan sesuai dengan kehendak dan keperluan semasa. Sukatan pelajaran tersebut digunakan sehingga tahun 1955. Pada tahun 1956, setelah tamatnya khidmat Tuan Haji Mohd. Mokhtar bin Ahmad sebagai pengetua, jawatan pengetua yang baru disandang oleh Sahibul Fadhilah Mohd Fadhlullah Suhaimi, seorang ulamak dari Singapura. Dalam masa beliau, sukatan pelajaran dan pentadbiran telah diperbaiki dan penggunaannya sehinggalah ke akhir tahun 1961, setelah beliau bersara. Pada tahun 1962 pula, Kulliah Al-Lughah Waddin As-Sultan Abu Bakar Pahang telah menerima perubahan baru dari segi sukatan pelajaran dan pentadbiran dan jawatan pengetua disandang oleh Al-Fadhil Ustaz Abdul Wahab bin Abdullah, anak tempatan lulusan Universiti Al-Azhar Mesir. Pada masa beliau, penyusunan sukatan pelajaran diubahsuai sejajar dengan kehendak dan keperluan semasa.
Kulliah Al-Lughah Waddin As-Sultan Abu Bakar Pahang, sejak mula dibuka dengan rasminya pada tahun 1941 sehinggalah ke tahun 1964, adalah di bawah pentadbiran Majlis Ugama Islam dan Adat Istiadat Melayu Pahang. Pada awal tahun 1965, kerajaan Negeri Pahang Darul Makmur telah bersetuju mengambilalih Kulliah Al-Lughah Waddin As-Sultan Abu Bakar Pahang setelah mendapat perkenan kebawah Duli Yang Maha Mulia Sultan. Sejak daripada itu semua pentadbiran dan perbelanjaan yang perlu bagi membiayai Kulliah ditanggung oleh Kerajaan Negeri Pahang Darul Makmur. Pada peringkat ini sukatan pelajaran disusun semula dengan memasukkan mata pelajaran umum di samping mata pelajaran bahasa Arab dan Ugama untuk memberi peluang kepada pelajar-pelajarnya menduduki peperiksaan Sijil Pelajaran Malaysia. Pada tahun 1969, Kulliah Al-Lughah Waddin As-Sultan Abu Bakar Pahang telah mengorak langkah dengan mewujudkan aliran Sijil Tinggi Persekolahan. Pada tahun 1970, Kulliah Al-Lughah Waddin As-Sultan Abu Bakar Pahang telah mewujudkan kelas Pendidikan dan Dakwah bagi pelajar-pelajar yang ingin menceburkan diri dalam bidang perguruan dan dakwah setelah tamat pengajian selama dua tahun. Akan tetapi oleh kerana beberapa sebab, kelas ini terpaksa ditutup pada awal tahun 1972 setelah selesainya pelajar-pelajar peringkat pertama menamatkan pengajian.
Selepas itu, pelajar-pelajar Kulliah dikehendaki mengambil peperiksaan Sijil Tinggi Agama Pahang dan Sijil Tinggi Pelajaran Malaysia.Namun, aliran Sijil Tinggi Pelajaran Malaysia ditutup rentetan kekurangan pelajar yang mengambil sijil tersebut. Pada tahun 2000, Kementerian Pelajaran Malaysia telah mengambil inisiatif dengan memperkenalkan Sijil Tinggi Agama Malaysia, dan sijil ini kekal sehingga hari ini.