SMKA Kota Kinabalu ditubuhkan pada 1 Disember 1990, bersamaan dengan 15 Jamadil Akhir 1411 Hijrah. Dengan tertubuhnya sekolah ini, bilangan SMKA di Sabah telah bertambah kepada enam buah. Ini seiring dengan hasrat Pengarah Pendidikan Sabah ketika itu, untuk melihat pertambahan bilangan sekolah agama di Negeri di Bawah Bayu.
SMKA ini terletak di Bukit Padang, kira kira 20 minit dari bandar Kota Kinabalu. Tapak dan bangunan yang ada pada hari ini merupakan peninggalan UKM cawangan Sabah sejak tahun 1979. Guru perintis SMKAKK ialah seramai 12 orang. Antaranya ialah Ustaz Haidon Hadi Sapiri (Pengetua), Adenan Husin (Penolong Kanan Pentadbiran), Mohd Rozaimi Abd Razak, A. Talib Ismail, Anuar Jasmin, Melih Bidin, Mahyani Simis, Azlan Sukir, Ustazah Wan Jah Abdullah, Zaharah Bani Yamin, Rosnani Harun, Nor Husnah Abdullah dan En Nasif Kasim (kerani).
Pendaftaran pelajar SMKA ini bermula pada 1 Januari 1991. Barisan pelajar batch pertama yang mendaftar merupakan pelajar Tingkatan 1(4kelas) dan Tingkatan 4 (3 kelas). Jumlah pelajar ialah seramai 205 orang.
Penubuhan SMKA ini adalah berteraskan Takwa, Islam dan Ihsan. Justeru itu, adalah menjadi cita-cita dan hasrat SMKA Kota Kinabalu untuk melahirkan anak bangsa yang cemerlang di samping mempunyai keperibadian yang teguh sebagai pemimpin negara masa hadapan.
