Der am 3. Januar 1887 in Magdeburg geborene Sohn des Malers Karl Baier lernt Modelltischler und arbeitet ab 1919 in Magdeburg. Von 1907 bis 1910 und im Ersten Weltkrieg leistet er Militärdienst in der Marine. 1918/19 agiert er als Vorsitzender des Soldatenrats in Cuxhaven.

Ab 1912 gehört er der SPD an, bis er 1917 zur USPD übertritt und Mitglied der KPD wird, als deren hauptamtlicher Organisationsleiter er von 1920 erst des KPD-Bezirks Magdeburg, dann des Bezirks Hessen-Waldeck ist. 1923 wird er in Kassel festgenommen und zu einem Jahr Gefängnis verurteilt. Nach vier Monaten wird er zwecks Ausübung seines Mandats als Provinzialabgeordneter freigelassen, taucht unter, wird 1924 erneut festgenommen und muss seine Reststrafe absitzen.

1925 arbeitet er als Instrukteur des Zentralvorstandes der Roten Hilfe Deutschlands und 1927 als Sekretär der Internationalen Roten Hilfe. Wegen Kritik am ultralinken Kurs 1929 aus der KPD ausgeschlossen, schließt er sich der KPD-Opposition an. Bis 1933 arbeitet er als Angestellter des Berliner Bezirksamtes Prenzlauer Berg und wohnt in diesem Bezirk in der Rastenburger Str. 20 sowie in der Weißenburger Str. 79.

1933 wird Karl Baier Mitglied der Sozialistischen Arbeiterpartei und deren Berliner Organisationsleiter, bis er am 22. August 1933 festgenommen wird. Er kommt ins Columbia-Haus und wird 1934 durch den „Volksgerichtshof“ im Massenprozess gegen SAPD-Angehörige zu zweieinhalb Jahren Gefängnis verurteilt. Nach der Entlassung 1936 betreibt er bis 1945 ein Versandgeschäft und beteiligt sich wieder im Widerstand.

Im Mai 1945 wird Baier von der russischen Kommandantur als Bürgermeister von Fangschleuse bzw. Werlsee bei Erkner eingesetzt, leitet ab 1948 das Sozialamt des Ost-Berliner Magistrats und ab 1950/51 das Amt für Kirchenfragen. Wegen "ideologischer Schwächen" wird er 1951 aus der SED ausgeschlossen, was im Jahr wieder zurückgenommen wird. Karl Baier stirbt am 12. April 1973 in Ost-Berlin.