Основание Карлова университета 07.04.1348 г. является одним из самых важных государственных актов Карла IV. В уставной грамоте он заявил, что университет основывает для того, чтобы жители Чешского королевства не должны были более выпрашивать милость в чужих странах и чтобы те, которые без устали жаждут плодов науки, нашли их дома, и наоборот могли приглашать людей из других земель для обучения у нас. Первоначально университет не имел центрального здания. Студенты жили у своих профессоров, с ними вместе ели, лекции читались в костелах, монастырях и частных домах. Позднее возникли университетские колледжи, сегодняшний Каролинум (Karolinum) был одним из них. Карлов колледж был основан в 1366 году, а через двадцать лет он переехал в импозантное здание монетного мастера Ротлева, построенное в готическом стиле в 1350 году. Ёглин Ротлев (Johlin Rotlev) подарил дом Вацлаву IV, а он, вместе с соседними домами, передал его Карлову колледжу, который первоначально был размещен в доме на окраине еврейского квартала, рядом с костелом Св. Микулаша (kostel sv. Mikuláše), где его пространство было очень ограничено. Объект постоянно расширялся, к нему делались новые пристройки, важным являлась постройка новой университетской часовни и большого зала для официальных собраний – «aula magna». Средневековая перестройка велась много лет, в университете были построены аудитории, лекционные залы, жилые помещения для лекторов и их помощников, баня и даже тюрьма. В 1611 году все отдельные колледжи были закрыты, и все сосредоточилось в зданиях Карлова колледжа - Каролине.

Здесь читал лекции профессор и ректор Ян Гус (Jan Hus). В аудитории Каролина он выступал со своим другом Иеронимом (Jeroným) в публичных дебатах против продажи папских индульгенций. Университетские лекторы принимали участие в издании гуситских реформаторских требований Четырех статей пражских в 1420 году. Несколько раз здесь собирался Земский сейм, отсюда в 1618 году после заседания выдали чешские сословия Пражскому Граду для проведения дефенестрации имперских наместников Славата и Мартиница (Slavata и Martinic). Университет стал одним из центров реформаторского движения, за что был наказан после поражения протестанских войск на Белой Горе победоносной армией Фердинанда II, он был передан во владение ордена иезуитов. Они объединили Каролинум со своим университетом в Клементинуме.

Нынешний вид Каролина в значительной степени относится к стилю барокко, он подобен тому зданию, которое было создано в 1718 году в результате реконструкции Франтишком Максимилианом Канькой (František Maxmilián Kaňka). Барочный характер дополняется сохранившимися и частично вновь раскрытыми некоторыми готическими элементами. Над поставленным Канькой порталом, сделанным в стиле барокко, со стороны Железной (Železné) улицы было сохранено барочное окно 1687 г. с надписью «LEX CIVIUM DUX» (Закон руководит народом). От бывшего дома Ротлева остались аркада и готический эркер (построенный около 1370 г.) - часть бывшей домашней часовни Св. Космы и Дамиана (kaple sv. Kosmy a Damiána) - с которым по красоте постройки может сравниться лишь эркер Староместской ратуши. Часовня украшена знаками Богемии, Штирии, Моравии, архиепископа Яна из Енштейна (Jan z Jenštejna) и Ёглина Ротлева.

После 1930 года был начаты исторические и археологические исследования строения, которые подтвердили, что под барочной реконструкцией находятся остатки средневекового облика. Война приостановила работы, поэтому реконструкция началась только в конце 40-х лет под руководством архитектора Ярослава Фрагнера (Jaroslav Fragner). Реконструкция касалась не только в исторического здания Каролинума, но и в других домов каролинского блока. В общей сложности к Каролинуму относится 17 зданий, включая объекты, расположенные во дворе. К ним относятся Бюкуаский дворец (Buquoyský palác) и Дом Опицы (Opitz), где были обнаружены расписные балочные потолки, дом, называемый «Stokhaus», и многие другие. Самый сложный этап реконструкции закончился конце пятидесятых лет переделкой двора в его исходный готический стиль с кирпичными аркадами и открытыми галереями.
Здесь была установлена скульптура Яна Гуса, сделанная Карелом Лидицким (Karel Lidický). На втором этапе восстановления и реконструкции, проводимой Фрагнером, была сделана реконструкция прилегающих домов и строительство нового входа в здание в 60 годах. Была реорганизована Честная палата, а в 1975 в ней был установлен фонтан, украшенный геральдическими львами, сделанный по проекту Ярослава Фрагнера и Винсента Маковского (Vincence Makovský), каменотесные работы скульптора Йозефа Вагнера (Josef Wagner).
Гордостью Каролинума является большой актовый зал, который используется для университетских празднований и выпускных церемоний, здесь происходит защита и вручение дипломов, а также другие торжественные акты. При обновлении, проводимом в 1946 - 1950 годах, зал, построенный после 1383 года, был примерно на треть расширен в длину, здесь были размещены трибуны и кресла для академической палаты. В зале находится специальный волнистый потолок, который обеспечивает отличную акустику, и на котором размещены металлические знаки чешских земель, изготовленные по проекту Яна Лауды (Jan Laudа). В люстрах установлены отопительные приборы и динамики.

Главная стена украшена гобеленом с изображением Карла IV, стоящего на коленях перед Святым Вацлавом, созданным Владимиром Сихрой (Vladimír Sychrа) в 1947 году. Мотив такой же, как и на печати университета. Перед гобеленом с левой стороны расположена бронзовая статуя Карла IV (скульптура выше человеческого роста), работа Карла Покорного (Karel Pokorný). На боковой стене зала находятся украшенные гобеленами хоры с органом. Готический портал над хорами ведет к целому ряду комнат. В одной из них хранятся университетские ценные документы, печати и «insignio» – специальные университетские знаки.

С другой стороны зала находится небольшая часовня, выходящая на улицу готическим эркером, украшенная мраморным памятником гуманиста Матоуша Колина из Хотержины (Matouš Kolín z Chotěřiny), изготовленным в 1568 г. От барочного портала, сделанного Канькой по стороны Железной (Železná) улицы ведет в зал оригинальная лестница, украшенная картинами Ричарда Визнера (Richard Wiesner), вторая лестница ведет в зал со стороны Фруктового рынка (Ovocný trh).
Каролинум является национальным памятником культуры.