Como muchos otros artistas del cómic, John Romita nació en 1930 en el seno de una familia de inmigrantes de clase obrera. Estudió en una escuela de arte comercial y entró a trabajar en la industria del cómic antes de cumplir los 20 años. Gracias a su trabajo tuvo la oportunidad de conocer a Stan Lee, quien laboraba como editor en jefe y director de arte para Timely Comics (más adelante conocida como Marvel Cómics).
En 1951, Romita fue reclutado por el ejército. Logró impresionar al director de arte de la base con muestras de su trabajo, y se le asignó crear afiches de reclutamiento. Luego de ser promovido a cabo se le permitió vivir fuera de la base, por lo que alquiló un apartamento en Brooklyn, para laborar en su tiempo libre para las editoriales de cómics. Después de terminar su servicio militar, trabajó de lleno para DC Comics, en la que se encargó de los títulos románticos de la editorial durante los siguientes siete años.
El género romántico cayó en declive en 1965, y Romita estaba harto de dibujar lo mismo. Decidió que de allí en adelante iba a dedicarse al trabajo publicitario únicamente. Consiguió un puesto en la famosa agencia BBDO, haciendo dibujos de producción para comerciales por US $250 a la semana, lo cual era mucha plata en aquel entonces. Sin embargo, antes de que empezara, Stan Lee lo convenció de laborar para Marvel pagándole lo mismo que BBDO y, además, le dio flexibilidad para trabajar desde casa cuando quisiera.
Romita empezó dibujando Daredevil, en 1966. Un día se le pidió que dibujara una historia de dos partes, con Daredevil y Spider-Man. Lee lo probaba, para reemplazar al controversial Steve Ditko como dibujante del arácnido. Cuando finalmente Ditko abandonó el título, Romita lo sustituyó a regañadientes. Tuvieron que pasar algunos meses para que se sintiera a gusto y dejara de imitar a Ditko. Esto fue beneficioso, pues evitó que los seguidores experimentaran un cambio abrupto de estilo.
Romita diseñó a Mary Jane Watson, quien pasó a ser un nuevo interés romántico para Peter Parker. Para crearla se basó en el look de la actriz Ann Margaret, en la película Bye Bye Birdie (1963). La presentación de Mary Jane, en The Amazing Spider-Man #42 (1966), fue un momento icónico para la serie.
En 1973, Lee promovió a Romita a director de arte en Marvel, puesto que ocupó hasta fines de los años 80. Entre los personajes que diseñó, o contribuyó a diseñar, están Punisher, Wolverine, Luke Cage, Bullseye, Tigra, Kingpin y Rhino.
Romita ha recibido varias distinciones en la industria. Aunque el creador se retiró en 1996, su hijo John Jr. continúa su legado y es un reconocido artista del cómic.