Pontus var den främste i raden av utländska kondottiärer som kom till Sverige under 1500-talets andra hälft.
Från början var han munk men övergick till krigaryrket. Han befann sig som legotruppsofficer i dansk tjänst när han 1565 blev krigsfånge vid Varberg under nordiska sjuårskriget och gick över till svenskarna.
Deltog i upproret mot Erik XIV och gjordes 1571 av Johan III till friherre med Ekholmen i Uppland som friherreskap. Han blev kungens främste stöd i dennes baltiska politik, ett förhållande som befästes genom hans giftermål 1580 med Johan III:s illegitima dotter Sofia Gyllenhielm. De la Gardie utnyttjades även som sändebud till påven och kejsaren och som medlare mellan Johan III och hertig Karl. Han blev 1575 ståthållare i Estland och 1580 befälhavare över trupperna i Finland. I kriget mor ryssarna utmärkte han sig särskilt genom sin belägringskonst och intog bland annat Kexholm 1580 och det mycket eftertraktade Narva 1581. Han utnämndes 1582 till krigsöverste.
När De la Gardie drunknade i floden Narova 1585 var han ståthållare i Estland och Ingermanland, kommisarie vid fredsförhandlingarna med Ryssland och sedan någon tid riksråd.

Familjen De la Gardie var verksamma i tre generationer på estnisk botten.
En annan svensk adelsfamilj som kan mäta sig med De la Gardies är familjen Stenbock som under nästan 300 år var herrar till ett av Estlands största gods, nämligen Kolk eller Kolga som det heter på estniska och vilket är beläget 70 kilometer öster om Tallinn.
Kolk omnämns redan i de äldsta urkunderna till Estlands historia. I början av 1200-talet tillhörde Kolk hertig Knut som var son till Valdemar Sejr, den kung som segrade över esterna i det berömda Valdemarsslaget år 1219. Senare sålde hertig Knut Kolk till cisterciensermunkar från Roma på Gotland.
I och med att Estland blev en del av det svenska riket indrogs Kolk till Kronan. Som tack för sina framgångsrika krigiska bedrifter, att driva ut ryssarna ur Estland och införliva Narva med det svenska väldet, fick Pontus De la Gardie godset Kolk av Johan III.
I gåvobrevet som är daterat den 6 juni 1581 sägs att konung Johan skänker Pontus De la Gardie "en kronans gård benämnd Kolk, med hus åker äng skogar fiskevatten kvarn och kvarnströmmar samt allt annat som hör härtill".
I brevet nämns vidare att Kolk var Pontus De la Gardies och hans rätta arvingars för evig ägo.
I början av 1600-talet brändes Kolk av polackerna och det stod därefter i ruiner fram till 1620-talet då Jacob De la Gardie tog sig an gården. Han hade året innan blivit utnämnt till ståthållare på slottet i Tallinn och landshövding över Estland. Han skulle uppföras på Kolk och ett kontrakt skrevs med murarmästaren Zacharias Hoffman, som emellertid inte lyckades fullborda sin uppgift.
Byggnadsplanerna ändrades och en ny byggmästare inkallades. Först år 1642 lär det nya huset ha stått klart och det beskrevs som ett stort tvåvåningshus av sten. Det är troligen denna byggnad som utgör kärnan i den nuvarande herrgården. Kolk gick i arv till Jacobs dotter Christina Catharina De la Gardie som var gift med Gustav Otto Stenbock.
I släkten Stenbocks ägo förblev godset ända fram till 1940 då den sista ägarinnan Margareta Stenbock av sovjetmakten tvingades att lämna Estland. Hon flydde då till Sverige.