In 2004 richtten Boss en Hoss in Berlijn de band op, en vernoemden hem naar het lied Boss Hoss van de jaren ’60 rock band The Sonics. De band speelde eerst bij kleine gelegenheden en Berlijnse clubs, maar kregen al snel naamsbekendheid.
In april 2005 verscheen in Duitsland hun eerste single Hey Ya!, een cover van OutKast, gevolgd door hun debuutalbum ‘Internashville Urban Hymns’ in mei 2005. De band deed promotie voor Langnese (de Duitse naam van Ola) en coverde de in Duitsland populaire reclame tune. Hun eigen populariteit steeg snel, en ze gaven dat jaar ongeveer 180 optredens in Duitsland, Oostenrijk, Zwitserland en Nederland.
De band begon 2007 met een tour door Canada, gevolgd door de release van hun nieuwste single Everything Counts / Truck´n´Roll Rules. De videoclip van Truck´n´Roll Rules werd geregisseerd door Detlev Buck, voor wie The BossHoss de titelsong leverde voor diens eerste kinderfilm “Hände weg von Mississippi”.