ブラウンは球場やカメラから離れたところで、1965年にブレンダ・エアーズという名前の18歳に対する暴行と暴行の容疑で逮捕された。 エアーズさんは無罪となったが、後にブラウンさんの子供の父親権を求めて訴訟を起こした。 当時、ブラウンはスー・ジョーンズと結婚しており、スー・ジョーンズとの間に双子を含む3人の子供がいた。 1968年、ブラウンはモデルのエヴァ・ボーンチンをアパートの2階のバルコニーから投げ落としたとされる。 ボーンチン氏が検察に協力しなかったため告訴は取り下げられたが、評判は消えなかった。 1973年、37歳のブラウンは18歳の大学生にプロポーズした。 彼らは翌年婚約を解消した。 1970年代と1980年代のさまざまな事件で、ブラウンは男女に対する暴行の罪で起訴され、1985年には強姦の罪で起訴された（後に不起訴）。 これらの容疑行為のほとんどは書類上または専門的な手続きによって無罪となったにもかかわらず、ブラウンの映画と公の人格を区別することはますます困難になった。 彼は終始無実を主張した。
1968年11月11日号には ニューヨーク グロリア・スタイネムは、自身のタイトルで「黒人のジョン・ウェイン」と呼んだジム・ブラウンについて、「…ジョン・ウェイン、あるいはマルコムXのヒントを少しだけ加えたジョン・ウェインかもしれない」と書いている。 1967年までに、ブラウンはクリーブランド・サミットで少数の黒人アスリート幹部を主催した。このサミットは1967年の夏の会議であり、男性たちはベトナム戦争中の米軍への入隊と兵役に対するモハメド・アリの抵抗を聞くために集まった。 1968年、ブラウンはロサンゼルス・コロシアム強盗を描いた奇抜な映画『ザ・スプリット』で初主演を果たした。 ディアハン・キャロルはブラウンの元恋人役で共演した。 ブラウンは1968年のアーネスト・ボーグナインとロック・ハドソン主演の北極を舞台にしたスリラー映画『アイス・ステーション・ゼブラ』で共演した。 ブラウンは、「リオ・コンチョ」や「ダーティ・ダズン」のように殺される、真面目な権威者「レスリー・アンダース船長」を演じた。
1969年、彼は「ライオット」（刑務所映画）とウェルチとともにセクシーな「100ライフル」（別の西部劇）の両方に出演した。 監督たちは賢明にも、ブラウンを威厳のあるポワチエの原型として表現しようとはしなかった。 ウェルチ演じるキャラクターとの「異人種間」恋愛は、その暴力的な響きもあり、当時物議を醸した（映画のポスターアートはブラウンとウェルチの体格を強調している）。
1970年にいくつかの映画が精彩を欠いて公開された後、ブラウンは1972年の『スローター』と『ブラック・ガン』で主演を務め、ブラックスプロイテーションの先導に貢献した。 その時までに、映画ファンは、銃を使いこなし、拳が厳しく、愛情深い黒人私立探偵を主人公とした 1971 年の「シャフト」に夢中になっていました。 このような運賃の急増は、ブラウンが操舵室を見つけるのに役立ちました。 これらの粘着車両の冗談のようなトーンにより、限られた予算の作品で彼の限られた表現範囲やニュアンスが要素にならない自由な制御が可能になりました。 スタジオが黒人アクション市場から離れ、映画ファンがこのジャンルの固定観念と予測可能性を超えたとき、ブラウンの映画の運命は衰退しました。 1980年代、彼は南カリフォルニアに拠点を置くAmer-I-Can財団を通じてギャングビーフの撲滅に全力を尽くした。 若い「クラブ」メンバーの多くはブラウンの容赦のない役柄を目の当たりにして育っており、俳優と元アスリートの両方を尊重し、時間をかけて彼らの人生を理解することに敬意を表した。