Yahya mengawali karier sebagai hakim sejak 1961 dan bertugas di berbagai daerah di Indonesia. Yahya dipercaya menjadi Hakim Agung pada 1982 hingga 2000.
Helmy Yahya hingga Ishak Mekki bersaing di Dapil Sumsel I untuk mengamankan kursi DPR RI. Perolehan suara sementara, keduanya urutan teratas internal parpol.