Был сыном банкира Жана де Каркави и Франсуазы Сабле. Место, где Пьер получал образование неизвестно, считается что он изучал право. В 1632 году стал советником парламента города Тулуза, которым оставался до 1636 года. В эти годы Каркави познакомился с Пьером Ферма, благодаря чему увлёкся математикой и стал переписываться с известными учёными Декартом, Галилеем и Торричелли.
Во время переписки с известными учёными он высказал несколько предположений, которые вошли затем в работы других учёных, а также разделял точку зрения Галилея о падении тел.
В 1658 году его друг Блез Паскаль решил задачу о площади любого сегмента циклоиды и центре тяжести любого сегмента. Они были опубликованы под названием «Деттонвиль» вместе с собственными решениями Каркави.
В 1663 году по инициативе Кольбера был назначен хранителем Королевской библиотеки, должность которого занимал в течение 20 лет. В качестве хранителя библиотеки, он показал себя как успешный управляющий, значительно пополнив библиотеку за счёт книг, а также гравюр и медалей.
Благодаря дружбе с Кольбером и опыту математика, в 1666 году он был избран членом Французской академии наук, создание которой он поддержал.
Скончался в апреле 1684 года после увольнения из Академии по обвинению в краже королевских медалей, которая не была доказана.