Był już zastępcą szefa MON u Jana Olszewskiego w 1992 roku po czym kierował tym resortem w pierwszych dwóch gabinetach PiS w latach 2005-07. Świat zapamiętał go jednak przede wszystkim z lat 2007-2014, gdy kierował polską dyplomacją. To był czas zupełnego odcięcia się od ugrupowania Jarosława Kaczyńskiego, w szczególności gdy idzie o politykę wobec Niemiec.
W przemówieniu w Berlinie w listopadzie 2011 roku szef MSZ uznał, że zagrożeniem dla Polski jest teraz brak aktywności zachodniego sąsiada na scenie międzynarodowej, a nie jej nadmiar. Dwa lata wcześniej wraz z ówczesnym ministrem spraw zagranicznych Szwecji Carlem Bildtem wylansował program „Partnerstwa Wschodniego”: plan stopniowej integracji z zachodnimi strukturami Ukrainy, Białorusi i krajów kaukaskich. Rewolucja na Majdanie i aneksja Krymu w 2014 roku pokazały jednak, że nie da się tego pogodzić z utrzymaniem pokojowych relacji z Rosją.