1902年京城府（現・ソウル市）生まれ。1921年に帰国し、岡田三郎助に師事する。1927年東京美術学校(現・東京芸術大学)卒業後に渡仏。ピカソやブラック、佐伯祐三らの影響を受けつつ、彫刻家のオシップ・ザッキンのアトリエに通い造形感覚を研ぎ澄ます。パリから朝鮮半島へ帰還し、終戦も彼の地で迎える。戦後は日本で二科会の再結成に尽力。1938年、吉原治郎らと九室会を結成。日本アブストラクト・アート・クラブの創立にも関わる。1954年ニューヨークにおけるアメリカ抽象美術展に出展。サンパウロ・ビエンナーレ(1955年、1965年)、ヴェネツィア・ビエンナーレ(1956年と1958年)に立て続けに出品するなど、国際的にも活躍する。1961年芸術選奨文部大臣賞受賞。1965年ニューヨーク近代美術館『新しい日本の絵画・彫刻展』、チューリッヒ市立美術館『現代日本絵画展』に出品。1982年武蔵野美術学園学園長に就任。1983年逝去。日本の抽象といえば山口、といわれるほど、先駆者として不動の地位を築く。黒系をベースに、大陸の土を思わせる黄土色や赤茶色系の限定された彩色で分厚く塗り込められる筆致は、単なるインパクトに終始する幾何学模様とは一線を画する山口独自の温もりを感じさせる。