Karl Ebert wird als jüngster Sohn des damaligen SPD-Parteisekretärs und späteren Reichspräsidenten Friedrich Ebert und dessen Ehefrau Louise, geb. Rump, am 29. April 1899 in Bremen geboren. Er wächst in Bremen und ab 1905 in Berlin auf, wo er die Gemeinde- und Mittelschule besucht. Seit seinem 18. Lebensjahr ist er Mitglied der SPD. 1918 dient er kurze Zeit als Soldat im Ersten Weltkrieg.

Er erlernt ab 1913 bei Joseph Rodenstock das Optikerhandwerk, arbeitet in Berlin und zwischenzeitlich zwei Jahre in Nürnberg. Er schließt 1927 mit der Meisterprüfung ab. Sein im selben Jahr eröffnetes Optikergeschäft muss er bereits 1929 wieder aufgeben. In den folgenden Jahren leitet Karl Ebert die Optik-Elektro-Photo-Abteilung in einem der Berliner Wertheim-Warenhäuser. Nach Auseinandersetzungen mit dem nationalsozialistischen Zellenobmann wird er im September 1933 entlassen. Unmittelbar danach wird er mitten in der Nacht von SA-Hilfspolizisten festgenommen und zum Sitz der SA-Führung von Berlin-Brandenburg in die Voßstraße verschleppt und dort misshandelt. An die Geheime Staatspolizei übergeben, ist er mehrere Wochen im Columbia-Haus inhaftiert.

Karl Ebert ist in erster Ehe mit Hedwig Vollmann verheiratet. Der Sohn Karl-Heinz wird 1940 geboren. Die Ehe wird 1943 wieder geschieden. Ein Jahr darauf heiratet er Gertrud Zipf. Im gleichen Jahr wird die Tochter Amelie geboren. Karl Ebert wird während des Zweiten Weltkrieges zur Wehrmacht einberufen und gerät 1945 in amerikanische Kriegsgefangenschaft. Nach seiner Entlassung tritt er in die Heidelberger Stadtverwaltung ein und ist von 1946 bis 1964 baden-württembergischer Landtagsabgeordneter. Er verstirbt am 21. September 1975 in Heidelberg.