SMP Islam Al Azhar 21 Solo Baru didirikan  berangkat dari keinginan menyediakan pendidikan yang berkesinambungan bagi lulusan SD Islam Al Azhar 28 Solo Baru. Hal ini disebabkan adanya kekhawatiran para pengurus Yayayasan Makarima akan pendidikan agama yang kurang memadai di sekolah umum. Untuk itu, Yayasan Makarima pun mengajukan permohonan kepada YPI Al Azhar Jakarta untuk mendirikan SMP.

Setelah diadakan studi kelayakan oleh YPI Al Azhar Jakarta, izin mendirikan SMP pun berhasil dikantongi. SMP Islam Al Azhar 21 Solo Baru pun akhirnya berdiri pada tahun 2008. Sekolah yang berslogan “Terdepan dalam Ilmu, Iman, dan Amal” ini memiliki program pengembangan kurikulum dengan konsep integrated learning yang dijabarkan dalam beberapa program.

Masing-masing Pengembangan Kepribadian Islam. Tujuan program ini adalah membentuk pribadi unggul yang memiliki akidah yang lurus, ibadah yang benar, dan akhlak yang mulia. Kemudian Penguasaan Bahasa Asing yang bertujuan  membentuk pribadi unggul di bidang penguasaan bahasa asing terutama Bahasa Inggris dan Bahasa Arab.

Yang ketiga adalah Penguasaan Iptek yang bertujuan membentuk pribadi unggul di bidang penguasaan iptek melalui pembelajaran yang berbasis IT dan keempat  Pengembangan ketrampilan, kemandirian, dan kepribadian. Program bertujuan membentuk pribadi unggul yang memiliki kecakapan global, kecakapan hidup, dan nilai luhur.

Selain program pengembangan kurikulum, SMP Islam Al Azhar 21 Solo Baru juga memiliki program unggulan intra kurikuler dan ekstra kurikuler. Program unggulan intrakurikuler berupa English Club dan Tahfidz. Sedangkan program ektrakurikuler meliputi: OSIS, Bahasa Inggris, Pramuka, Futsal, Renang, Taekwondo, KIR, Teater, dan Musik Etnik. SMP Islam Al Azhar 21 Solo Baru juga menyediakan fasilitas asrama pelajar bagi murid yang membutuhkannya.