James Oliver Cromwell nació en California, Estados Unidos, el 27 de enero de 1940. Hijo adoptivo de John Cromwell y Kay Johnson, director y actriz, James creció en Nueva York, donde estudió en el Middlebury College y, posteriormente, en el Carniege Mellon University, donde decidió seguir los pasos de sus padres y estudió drama y teatro.
Pronto, James empezaría a actuar, con frecuencia, en teatro, participando, como sus padres, en la mayoría de las puestas en escena basadas en las obras de Shakespeare. Aunque su estatura, de poco más de dos metros, le impedía algunos trabajos, también se volvió en una característica del actor. Tras varios años en el teatro, el actor probo suerte en televisión, debutado en la serie Todo en familia (1974) a la que seguirían trabajos en series como Hot L Baltimore (1975), The Nancy Walker Show (1977), La casa de la pradera (1980), Dallas (1985), Calle tranquila (1987), Star Trek: La nueva generación (1993), entre varias más.
Aunque durante la década de los años 80 y 90, el actor aparecia en películas, en realidad, sería reconocido en 1995 cuando estelariza la exitosa cinta familiar Babe, un puequito valiente (1995), por la que sería nominado, a un premio de la Academia, como Mejor actor de reparto. El éxito de la cinta le permitió conseguir más y mejores papeles en cine, por lo que fue frecuente verlo en pantalla grande, a lo largo de los 90 y 2000, en cintas como L.A. Confidential (1997), La hija del general (1999), Milagros inesperados (1999), La promesa (2016) y, más recientemente, en Jurassic World: Fallen Kingdom (2018)
A la par de su extensa trayectoria en cine y teatro, el actor también ha sido una presencia constante en televisión, participando en series como Six Feet Under (2003), 24 (2007), American Horror Story (2012-2013), Boardwalk Empire (2013), The Young Pope (2016), entre otras.