Sejak lulus sebagai perwira TNI AL, Setelah lulus dari Akademi Angkatan Laut, Yudo mengawali kariernya di kapal perang.
Baca Juga: Distribusi BBM Selama Natal dan Tahun Baru, Dijamin Pertamina Patra Niaga Regional JBB
Saat itu, Yudo Margono dipercaya menjadi Asisten Perwira Divisi (Aspadiv) Senjata Artileri Rudal di KRI YNS 332 (1988), Kadep Ops KRI Ki Hajar Dewantara 364.
Karier militer Yudo terus meroket, ada 19 posisi yang pernah dijabat Yudo, di antaranya sebagai komandan di delapan tempat yang berbeda.
Karier Yudo terus merangkak naik, dia dipercaya sebagai Komandan KRI Pandrong 801, Komandan KRI Sutanto 877, Komandan KRI Ahmad Yani 351, Komandan Lanal Tual (2004-2008), Komandan Lanal Sorong (2008-2010).
Selanjutnya pada 2010, Yudo menjabat Komandan Satkat Koarmatim. Ia kemudian ditunjuk menjadi Panglima Komando Lintas Laut Militer (Kolinlamil) pada (2017-2018).
Yudo juga pernah dipercaya mengemban jabatan Panglima Komando Armada I yang menduduki wilayah laut Indonesia bagian barat (2018-2019).
Yudo kembali ditunjuk sebagai Panglima Komando Gabungan Wilayah Pertahanan (Pangkogabwilhan) I, yang adalah komando utama operasi Markas Besar Tentara Nasional Indonesia (2019-2020).