Второй сын Пипина Короткого и Бертрады Лаонской, чья смерть позволила его старшему брату — Карлу Великому — снова объединить Франкское государство и начать экспансию в другие страны.
В возрасте трёх лет Карломан вместе с отцом Пипином Коротким и старшим братом Карлом Великим был помазан в короли папой Стефаном II (III), прибывшим из Рима, чтобы просить правителя франков о помощи против лангобардов.
После смерти Пипина Короткого в 768 году Карл Великий и Карломан унаследовали по половине отцовских владений — Суасон стал столицей доли Карломана, состоявшей из Парижского бассейна, Центрального массива, Лангедока, Прованса, Бургундии, южной Австразии, Эльзаса и Алемании. Эти регионы были слабо связаны между собой и окружены владениями Карла Великого. Территории Карломана было легче защищать, чем владения его брата, но они были беднее по доходам.
Принято считать, что Карломан и Карл Великий недолюбливали друг друга. Причины неприязни не ясны. Некоторые историки предполагают, что каждый брат считал себя по праву единственным наследником своего отца: Карл Великий — как старший сын, Карломан — как законный отпрыск, так как имеются недостаточно подтверждённые свидетельства о рождении старшего из сыновей Пипина Короткого ещё до заключения брака с Бертрадой. Как бы то ни было, раздел Пипином Коротким Франкского королевства, по-видимому, усугубил натянутые отношения между братьями, поскольку каждый из них чувствовал себя обманутым.
Правление Карломана было коротким и беспокойным. Братья разделили владение Аквитанией, где после смерти Пипина Короткого началось восстание. Когда Карл Великий совершил поход для подавления мятежа и Карломан привёл свою армию ему на помощь. Однако братья поссорились в Монконтуре и Карломан возвратился в свои владения. Предполагается, что этим Карломан намеревался подорвать власть Карла Великого, поскольку восстание угрожало авторитету его брата. Однако Карл сумел разгромить мятежников, в то время как поведение Карломана подорвало его собственное положение среди франков. После этого отношения между сыновьями Пипина Короткого ухудшились настолько, что потребовалось посредничество их матери Бертрады. Та, по-видимому, более благоволила Карлу Великому, так как после смерти мужа жила во владениях старшего сына.