Le groupe s'est formé en 1973 à Harrisonburg, Virginie. Le guitariste Stanley Whitaker et le bassiste Rick Kennell se sont rencontrés pour la première fois en Allemagne en 1972. Whitaker, dont le père était officier de l'armée et avait quitté son pays natal, le Missouri pour l'Allemagne quatre ans plus tôt, avait formé
Shady Grove avec son compatriote expatrié, le claviériste David Bach. Quand à Kennell, il venait d'être envoyé en Allemagne pour son service militaire. C'est lors d'un concert de
Shady Grove à la mi-1972, que Kennell rencontre Whitaker et se découvre une passion commune pour le rock progressif britannique. Ils décident de former un groupe ensemble.

Ne pouvant rentrer aux USA avant la fin de son service, Kennell donna à Whitaker le nom de deux anciens membres de son groupe adolescente
Zelda : le batteur Mike Beck et le chanteur / flûtiste Cliff Fortney, qui ont tous deux accepté de déménager en Virginie. C'est à l'Université que Whitaker rencontra le saxophoniste / pianiste Frank Wyatt. Initialement, David Bach fut le premier claviériste, mais dans le courant de 1973, Kit Watkins, le fils d'un professeur de piano, le remplaça. Lorsque en Janvier 1974, Kennell revint d'Allemagne, la bande, nommée
Happy the man par le frère de Whitaker, inspiré par le Faust de Goethe, était enfin au complet.
Leur répertoire initial mêlait compositions originales et reprises (de
King Crimson,
Van Der Graaf Generator,
Genesis, etc.), avant de se concentrer exclusivement sur leurs propres compositions. Des demos seront enregistrées pour Cuneiform Records (et se retrouveront sur la compilation Beginnings). Fortney quitte le groupe et est remplacé par un autre chanteur qui partira lui aussi. Au final, le groupe décide de se concentrer sur des instrumentaux, les quelques parties vocales étant interprétées par Whitaker.
En 1975, le groupe déménage pour la capitale.
Cherchant à s'entourer d'un nouveau groupe de scène après son départ de
Genesis, Peter Gabriel passa pendant l'été 1976 une journée à répéter avec
Happy The Man dans son local de répétition. Les deux parties décidèrent finalement d'en rester là, le groupe étant plus intéressé de jouer sa propre musique et Gabriel craignant, paraît-il, que les inclinations "progressives" d'
Happy The Man le ramène à une musique trop proche de celle de
Genesis.
C'est cette année que le groupe signe chez Arista Records. Fin 1976, le groupe entre en studio avec Ken Scott qui avait travaillé avec
Mahavishnu Orchestra,
Supertramp et
David Bowie. L'album, éponyme, sort en 1977.
Il comprend deux longs instrumentaux, Mr Mirror's Reflection On Dreams et New York Dream Suite, qui sont les plats de résistance de l'album, mais aussi d'autres pépites comme le morceau d'ouverture, Starborne, qui établit immédiatement le style de HTM, ou le poème symphonique de Watkins: Hidden Moods.
Pendant l'année 77, le groupe tourne, entre autre avec
Foreigner ou
Renaissance avant de retourner en studio.
C'est Riddle qui remplace Beck sur ce nouvel album, Crafty Hands. Plus raffiné que le premier, cet opus comprend Service With A Smile qui sortira en single, des standards du groupe comme les atmosphériques Morning Sun et Nossuri, les rythmés Steaming Pipes et I Forgot To Push It et l'épique Ibby It Is. Un seul morceau chanté apparaît sur l'album: Wind Up Doll Day Wind.
Malgré la qualité de ces 2 albums, le groupe ne rencontre pas le succès qu'Arista espérait et la maison de disque casse le contrat les liant.
Happy the man continue malgré tout et enregistre des nouvelles demos pour contacter une autre firme. Malheureusement, le 27 mai 1979, Kit Watkins annonce son départ pour
Camel ! La bande joue son dernier concert à l'université Madison avant de splitter.
Whitaker et Kennell forme un nouveau groupe,
Vision, avec le claviériste originel David Bach.
En 1983, le troisième album du groupe, 3rd - Better Late... sort sur le label Azimuth, créé par Watkins. Il comprend les demos enregistrées durant l'année 1979 (le CD comprend 2 morceaux supplémentaires).

Pendant les années 1980-90,
Happy The Man ne se fera pas totalement oublier. Une compilation, Retrospective (1989), permettra à une nouvelle génération d'auditeurs de se familiariser avec ses deux premiers albums devenus introuvables (ou réédités à prix prohibitif au Japon). La parution de deux CD d'enregistrements datant de la période 1973-75 sur le label Cuneiform témoigne de l'intérêt soutenu pour sa musique, au point que le groupe, ayant récupéré les droits de ses albums à Arista, en proposera en 1999 des versions superbement remasterisées par Kit Watkins en personne.

Entre-temps, les rumeurs, plus ou moins fondées, de reformation, se sont succédées tout au long des années 90. Déception, c'est finalement sans Kit Watkins, mais avec tous les autres musiciens présents sur Crafty Hands, que
Happy The Man ressuscite en 2000 à l'occasion du NEARfest, festival américain de rock progressif. De l'avis général, la magie est toujours au rendez-vous, et le groupe persévère, donnant quelques séries de concerts, hélas aux États-Unis exclusivement, avant de publier chez Inside Out un nouvel album, The Muse Awakens (2004). Hélas, celui-ci ne parviendra pas à redonner au groupe la visibilité nécessaire pour continuer ses activités. Heureusement, les deux principaux protagonistes du groupe, Stanley Whitaker et Frank Wyatt, ont décidé de poursuivre l'aventure à une échelle plus modeste, mais avec un talent intact, d'abord avec le projet
Pedal Giant Animals (un album en 2006) et surtout le groupe
Oblivion Sun, plus clairement encore dans la lignée musicale de
Happy The Man. Un premier album, sans titre, a vu le jour en octobre 2007, dans la foulée d'une apparition en tête d'affiche au festival ProgDay.