1937年4月11日、神奈川県は横浜市に生まれる。母方の親戚に岩倉具視を持つ。
1960年春、東宝に入社し、1961年「夜の太陽」で歌手デビュー。
1965年12月、映画「エレキの若大将」の主題歌「君といつまでも」が350万枚の大ヒット。日本レコード大賞特別賞を受賞。同年、故郷神奈川県にパシフィックホテル茅ヶ崎を開業するも、1970年3月に23億円の負債を抱え倒産。
不遇の時代が続いたが、活躍の場をテレビに移し、「理想の父親」と称されるほどの人気を獲得する。
1986年から3年連続でNHK紅白歌合戦の白組の司会を務めた。
1994年、ザ・ワイルドワンズのメンバーと「加山雄三＆ハイパーランチャーズ」を結成。
2011年、第61回芸術選奨 文部科学大臣賞大衆芸能部門受賞。
2014年から最後の全国コンサートツアーとしていた公演が2015年7月25日に最終公演を迎え、今後全国ツアーは行わない旨を改めて発表した。
同年秋、旭日小綬章を受賞。
「君といつまでも」
大ヒット曲にして代表曲。間奏のセリフも有名
「お嫁においで」
ロカビリーハワイアンといったような曲。ラッパーPUNPEEによるカバーも話題になった。
「海 その愛」
「海よ 俺の海よ」というフレーズが有名。ディレクターは「明日に架ける橋」をイメージしたという。