En 2000, cuando Jimmy O. Yang tenía trece años, su familia emigró a Los Ángeles de Hong-Kong para que él y su hermano tuvieran acceso a mejores escuelas. Yang se graduó de la Universidad de California, San Diego, con un título en economía en 2009. Yang hizo su primer set de stand up a los 21 años como "Lowball Jim" en el Ha Ha Comedy Club en North Hollywood, Los Ángeles. Empezó a considerar actuar cuando un amigo le dijo que se ganaba buen dinero en cheques residuales de comerciales. Mientras tanto, hizo sets de stand-up en el sur de California y se inscribió en clases de actuación. Yang hizo su debut en televisión en la serie 2 de Broke Girls de CBS en 2012 y su primera aparición en la noche en The Arsenio Hall Show en 2014. Ese mismo año, Yang comenzó como una estrella invitada en Silicon Valley, apareciendo en tres episodios. Se convirtió en regular desde la segunda temporada hasta el final en 2019. En 2018, interpretó a Bernard Tai en la película de comedia romántica Locamente millionarios, dirigida por Jon M. Chu y en 2020 participa en la cinta de terror La isla de la fantasía.