Nadat in 1866 de "Wet op de beteugeling van de landloperij" was gestemd ging de Belgische regering op zoek naar een geschikte locatie, maar eigenlijk was deze nog aanwezig te Wortel en Merksplas. Op 20 december 1870, veertig jaar na de onafhankelijkheid, werden de domeinen aangekocht door de Belgische staat. De coördinatie van de "Weldadigheidskolonieën van Hoogstraten-Merksplas-Wortel" werd toevertrouwd aan de directeur van de gevangenis in Hoogstraten.

Vanaf 1871 werden eerst de aanwezige gebouwen opgekalefaterd. Op de militaire kaart van 1879 stonden nog enkele hoevetjes getekend. Op de zuidoostkant van het terrein groeiden naaldbomen en de rest van het domein was weer ingenomen door heide. De echte bouwactiviteiten in Wortel-Kolonie gingen door in de periode 1880 - 1900.

In 1881 werden de nieuwe gevangenisgebouwen voor de landlopers opgetrokken. Dit zijn de mooie witte gebouwen, die er nog steeds staan.

De wet van 1866 werd in 1891 verfijnd. De gewone bedelaars, die bedelen omdat ze structureel arm zijn (door ouderdom, werkloosheid, gebrek of ziekte) kwamen terecht in Wortel, en de beroeps-bedelaars die arm zijn uit luiheid, losbandigheid of dronkenschap werden opgesloten in Merksplas. De valide landlopers werden tewerkgesteld op de boerderij, in de steenfabriek, de smidse, de schrijnwerkerij, de klompenmakerij, de weverij, de kleermakerij of moesten helpen in de keuken.

Vanaf 1893 kreeg de Rijksweldadigheidskolonie van Merksplas en Wortel een eigen directeur, los van Hoogstraten. Vanaf 1902 werden ook de "beroepsbedelaars" ondergebracht in Wortel-Kolonie. Tot aan de Eerste Wereldoorlog was de populatie van vagebonden in de beide Weldadigheids-kolonies zeer hoog. Na de Grote Oorlog daalde dit aantal aanzienlijk, enerzijds omwille van de wederopbouw en anderzijds omwille van de sociale wetgeving.

Op 7 mei 1929 werden de landloperskolonies van Hoogstraten en Wortel afgeschaft en bleven de gebouwen onbezet.

In 1935 gingen de deuren terug open voor geesteszieke landlopers en voor zieken uit andere overbevolkte psychiatrische instellingen. Tijdens de bevrijding van de Tweede Wereldoorlog werden de geesteszieken overgebracht naar andere instellingen. De gebouwen kregen het zwaar te verduren. Het Lazaret (pesthuis) en het woonhuis van de hoeve werden vernield.

Vanaf 1945 verbleven er in de gebouwen van Wortel-Kolonie opnieuw landlopers, ditmaal afkomstig van Merksplas. Wortel bleef tot in 1955 een bijhuis van Merksplas, maar werd toen een onafhankelijke instelling met een eigen directie.

Toen België op 1 maart 1993 onder Europese druk de wet op de landloperij afschafte, verloren de 260 landlopers van Wortel-Kolonie de geborgenheid van de georganiseerde vrijheid. In april 1996 verbleven nog steeds 27 landlopers in Wortel. Zij kozen ervoor om in Wortel te blijven, ook al moesten ze zich dan onderwerpen aan een strenger gevangenisregime. Thans (in 2004) verblijven er nog elf thuislozen, met een gemiddelde leeftijd van 64 jaar.