Gus Dur memiliki peran besar dalam proses NU kembali ke khittah. Saat itu situasinya adalah setelah transisi Orde Lama ke Orde Baru, kebijakan politiknya Suharto tidak mengenakkan buat partai-partai Islam. Semula, banyak kalangan partai Islam berharap dengan naiknya Suharto dengan Orde Barunya, kalangan partai Islam bakalan mendapatkan kesempatan politik yang bebas.
Namun harapan tersebut berujung kecewa, Suharto justru merepresi aktivitas politik kaum muslim, termasuk dengan melarang Masyumi untuk berdiri kembali. Kebijakan Orde Baru terhadap partai Islam adalah memaksa seluruh partai Islam untuk melakukan fusi penyatuan ke dalam Partai Persatuan Pembangunan (PPP).
Termasuk Partai NU juga harus bergabung dengan berbagai kalangan modernis bekas Masyumi yang dulu sering bertentangan dengan ulama-ulama NU. Dalam wadah PPP tersebut awal Orde Baru NU menyalurkan kegiatan politiknya, sebagian dari pengurus PPP adalah berasal dari NU.
Dikisahkan Greg Barton dalam Biografi Gus Dur (2002) bahwa situasi menjadi pelik dan tidak menguntungkan NU di dalam PPP sejak Djaelani Naro terpilih sebagai Ketua Umum Baru PPP di awal tahun 1980an. Djaelani Naro adalah orang yang didukung oleh rezim Orde Baru untuk menggembosi partai Islam.
Dalam situasi demikian itu banyak sesepuh NU kecewa dengan Ketua Umum PBNU saat itu KH. Idham Chalid yang tidak membela kepentingan NU di tengah kebijakan Djaelani Naro yang mengerdilkan fungsi struktural NU di PPP.
Pada saat itu diceritakan Greg Barton bahwa empat kiai sepuh NU yang sekaligus menjabat Syuriah PBNU mendatangi KH. Idham Chalid untuk memintannya mengundurkan diri dari jabatan Ketum PBNU. Empat kiai sepuh tersebut adalah KH. Ali Maksum, KH. As’ad Syamsul Arifin, Kiai Masykur dan KH. Machrus Aly.
Semula KH. Idham Chalid mau menandatangani permintaan sesepuh NU tersebut. Namun setelah itu KH. Idham membatalkan dalam sebuah Pers Conference dan menganggap permintaan pengunduran dirinya tersebut tidak sesuai konstitusi organisasi. Persis sejak itulah kemudian internal NU terpecah menjadi dua kubu.
Kubu KH. Idham Chalid disebut sebagai kubu Cipete. Nama itu merujuk alamat rumah dari KH. Idham sendiri di Jakarta. Dan kubu kedua adalah kubu KH. Asy’ad yang dinamai kubu Situbondo. Nama tersebut merujuk kepada alamat pesantren KH. As’ad di Situbondo, Jawa Timur.
Dalam kondisi yang memprihatinkan tersebut. Pertama karena NU semakin terdesak di internal PPP dan kurang memberdayakan warga jam’iyahnya di daerah dan pesantren-pesantren. Kedua, prihatin karena terjadi perpecahan dalam internal kepengurusan PBNU. Kemudian Gus Dur bersama teman-teman muda NU membuat forum untuk membahas permasalahan tersebut.
Forum tersebut dinamai Dewan 24. Dewan 24 tersebut terdiri dari kiai dan cendikiawan muda NU saat itu. Kemudian forum tersebut pada akhirnya membentuk tim kecil yang terdiri dari Tujuh orang untuk melakukan pembaharuan di tubuh NU sekaligus meredam konflik internal tersebut. Di dalamnya termasuk Gus Dur dan KH. Achmad Shiddiq sebagai bagiannya.
Gus Dur kemudian terus bergerak untuk sowan dan berkomunikasi dengan semua pihak dari PBNU untuk membicarakan rencana perbaikan NU. Kemudian, dalam situasi tersebut Presiden Suharto memaksakan kepada semua ormas Islam untuk menerima asas tunggal Pancasila. Dalam situasi tersebut sekaligus Gus Dur membicarakan hal tersebut bersama tentang upaya untuk kembali ke khittah NU.
Kemudian setelah berdiskusi dan bernegosiasi panjang. Akhirnya berbagai sespepuh NU sepakat untuk NU kembali ke-khittah 1926 dengan mengambil kebijakan NU keluar dari partai politik dan fokus mengembangkan jam’iyah di akar rumput. Selain itu NU juga sepakat untuk menerima asas tunggal Pancasila.
Kebijakan tersebut disahkan pada saat Muktamar NU pada tahun 1984 di Pesantrennya KH. As’ad Syamsyul Arifin di Situbondo Jawa Timur. Dan pada saat yang bersamaan Gus Dur ditunjuk oleh sesepuh ulama NU untuk menjadi Ketua Umum PBNU.
