Sebelum Wahid Hasyim bergabung, NU ikut memasuki tren ˆbaru bersama-sama organisasi sosial modern lainnya, seperti Muhammadiyah. NU membentuk federasi politik bernama Majelis Islam A’la Indonesia (MIAI) pada tahun 1937. Lembaga ini terbentuk karena kalangan pesantren tradisional merasa ‘bersalah’ lantaran kalah dalam hal konsolidasi dari kaum nasionalis-sekuler. Wahid Hasyim didapuk sebagai sekretaris.
Sementara itu, setelah memikirkan dengan benar-benar matang, Wahid Hasyim pun bergabung dengan NU pada tahun 1938, di usia 24 tahun. Dia masuk NU setahun setelah MIAI terbentuk. Dan sejak saat itu dia banyak mencurahkan waktunya untuk kegiatan-kegiatan NU.
”Beliau (Wahid Hasyim) masuk di tataran paling dasar dulu, yaitu dari cabang Diwek (Jombang). Setelah itu naik terus,” terang Solahudin Wahid alias Gus Solah, salah satu putra Wahid Hasyim, dalam sebuah wawancara yang dimuat Radar Jombang pada 28 Januari 2019.
Awalnya Wahid Hasyim didapuk menjadi Sekretaris NU Ranting Cukir-Jombang. Tak perlu waktu lama setelah itu, dia didapuk menjadi Ketua Pengurus Cabang NU (PCNU Jombang), masih di tahun 1938. Ketika itu dia juga masih menjabat sebagai Sekretaris MIAI.
Pada Konferensi MIAI tahun 1939, Wahid Hasyim terpilih sebagai ketua. Namun, dia mengundurkan diri setahun kemudian, karena mendapatkan amanat dari PBNU untuk terlibat dalam kepengurusan bagian Ma’arif (Pendidikan) pada tahun 1940.
Selain mengurus PBNU, di masa pra-kemerdekaan, Wahid Hasyim juga mendapatkan tugas khusus dari Pemerintah Militer Jepang.
Jepang yang mulai menginvansi Indonesia pada bulan Maret 1942 punya kepentingan mendekati umat Islam. Maka dari itu mereka menaruh perhatian khusus kepada KH. Hasyim Asy’ari—yang dikenal sebagai ulama kharismatik dan mempunyai pengaruh sangat kuat di kalangan umat. Jepang bermaksud menjadikan Kiai Hasyim sebagai pemimpin Shumubu atau Kantor Jawatan Agama bentukan mereka.
Nouruzzaman Shiddiqi, dalam Menguak Sejarah Muslim (1983) menulis bahwa penunjukan Kiai Hasyim di Shumubu merupakan upaya persuasif Jepang untuk mendekati Kiai Hasyim. Jalan lunak ditempuh Jepang setelah upaya kekerasan gagal total. Kiai Hasyim sempat ditangkap oleh Jepang karena dituduh memberontak dan menghabiskan sekitar empat bulan dengan siksaan di penjara. Namun, Kiai Hasyim tidak menyerah.
Ketika Kiai Hasyim diundang dalam pertemuan oleh Pimpinan Tentara Jepang di Jakarta untuk membahas pembentukan Shumubu pada tahun 1942, Wahid mendampingi ayahnya. Dalam pertemuan tersebut Kiai Hasyim ditunjuk oleh Jepang untuk memimpin Shumubu. Namun, dia menyerahkan kepemimpinan Shumubu kepada Wahid Hasyim karena memilih untuk fokus mengurus pesantren.
Setelah menerima tongkat estafet kepemimpinan dari ayahnya, Wahid berupaya mendirikan Kantor Jawatan Agama di daerah-daerah, yang disebut Shumuka. Kantor daerah itu dipimpin oleh seorang Shumuka-cho.Upaya Wahid Hasyim tersebut semata-mata untuk mengamankan pergerakan NU dan umat Islam pada umumnya.
Pada tahun 1944, memanfaatkan kedudukannya di Shumubu, Wahid Hasyim berinisiatif mendirikan Sekolah Tinggi Islam di Jakarta, yang kemudian ditangani oleh KH. A. Kahar Mudzakir. Tahun berikutnya, 1945, dia mulai aktif dalam dunia politik dan memulai karir sebagai Ketua II Majelis Syura Dewan Partai Masyumi. Ketua umumnya adalah ayahnya sendiri, KH. Hasyim Asy’ari. Sedangkan Ketua I dan II masing-masing dijabat Ki Bagus Hadikusumo dan Mr. Kasman Singodimejo.
Setelah Indonesia merdeka, Wahid Hasyim kian tampak menonjol di PBNU. Bukan semata-mata karena faktor bapaknya, namun karena pemikiran-pemikiran dan gerakannya yang progresif. Hingga akhirnya, pada tahun 1946 dia terpilih menjadi Ketua Tanfidziyah PBNU menggantikan Kiai Mahfudz Shiddiq yang meninggal dunia.
