Сначала был на службе у императора, затем сделался советником последнего герцога Юлихского, Иоганна-Вильгельма (умер 1609 г.). После захвата Юлиха и Клеве Бранденбургом и Пфальц-Нейбургом Шварценберг перешёл на бранденбургскую службу и оказывал сильное влияние на слабого курфюрста Георга Вильгельма. После того как в 1630 г. Густав-Адольф добился союза Швеции с курфюрстом, Шварценберг был удалён в Клеве и на его имения было наложено запрещение. Только после поражения шведов при Нердлингене в 1634 г. Шварценберг снова появился в Берлине и сделался штатгальтером Бранденбурга. Он посоветовал союз с Австрией, которым навлек на Бранденбург страшнейшие военные бедствия.
Эта дипломатическая ошибка и уже ранее замеченное в нём расположение к Австрии заставили многих историков, в том числе и Фридриха II, обвинить его в том, что он злоупотребил доверием слабого курфюрста в ущерб Бранденбургу, для исполнения планов императора. Космар, в своих «Beiträge zu den gegen Kurbrandenb. Geheimrat Grafen Adam v. S. erhobenen Beschuldigungen, aus archivalischen Quellen» (Б., 1828), опровергает это мнение; но нельзя не признать, что Шварценберг не был чужд корыстных сделок с императорской дипломатией и военным ведомством.
Как только Фридрих-Вильгельм (будущий «великий курфюрст») сделался правителем, он отставил Шварценберга от службы и велел арестовать его. Последовавшая вскоре за тем смерть Шварценберга от удара положила конец следствию. Предание о том, что курфюрст велел его обезглавить, опровергается сделанным в 1777 г., по приказанию Фридриха II, исследованием тела Шварценберга, похороненного в Шпандау.