Gus Yahya kemudian menempuh pendidikan tinggi di Universitas Gajah Mada (UGM) Yogyakarta Fakultas Ilmu Sosial Politik (Fisipol) dan aktif di Himpunan Mahasiswa Islam (HMI) Yogyakarta.

Dia pernah ditunjuk menjadi Juru Bicara Presiden dimasa Presiden Gus Dur. Setelahnya Gus Yahya sempat aktif di PKB, tapi kemudian memilih lebih menekuni di bidang pendidikan.
Gus Yahya juga pernah dilantik Presiden Joko Widodo (Jokowi) menjadi Dewan Pertimbangan Presiden (Wantimpres) hingga 2019.
Baca Juga:Sambut Hasil Muktamar, Muhaimin: Warga NU menanti kreasi nyata Kiai Miftah-Gus Yahya