Få uger efter Hitlers magtovertagelse begyndte SA at oprette mindre koncentrationslejre for såkaldte beskyttelsesfanger. Det drejede sig om politiske modstandere, frem for alt kommunister, socialdemokrater og fagforeningsrepræsentanter. De første lejre kaldes de "vilde" koncentrationslejre, da de ikke var oprettet som led i et organiseret system. Senere overtog SS ledelsen af lejrene. De små "vilde" lejre blev derpå nedlagt og nye store lejre oprettet, der efterhånden kom ind i et vist system. Koncentrationslejren i Dachau, 20 km nordvest for München, regnes for at være den første ”rigtige” koncentrationslejr, idet den blev oprettet formelt af Heinrich Himmler den 21. marts 1933. Theodor Eicke, som blev kommandant i Dachau, opstillede et lejrreglement, som var umenneskeligt strengt for fangerne. Det blev forbillede for de andre koncentrationslejre, idet Eicke blev udnævnt af Himmler til inspektør for alle koncentrationslejre den 4. juli 1934. I september 1935 fandtes der foruden Dachau officielt anerkendte koncentrationslejre i Lichtenburg, Sachsenburg, Esterwegen, Oranienburg og ved Berlin. I stigende grad blev der nu også interneret andre personer i lejrene end de politiske modstandere, for eksempel landsstrygere og tiggere, der blev kaldt ”asociale”, personer, der var straffet flere gange, homosexuelle samt personer, der blev forfulgt af racemæssige grunde, især jøder.

Ved oprettelsen af den enkelte koncentrationslejr udsøgte man en isoleret beliggenhed i nærheden af større byer. Koncentrationslejrene skulle ikke træde i stedet for fængslerne men supplere dem. De var fra starten af tænkt at skulle være en slags opbevaringssted under hårde forhold og på ubestemt tid for politiske fanger og for kriminelle, der havde udstået deres fængselsstraf. De skiftede langsomt karakter, idet de fleste fanger efterhånden kom direkte i koncentrationslejr uden først at få en fængselsstraf. Dette hang sammen med, at Himmler blev politichef i 1936, i hvilken forbindelse Gestapo fik bemyndigelse til uden dommerkendelse at arrestere folk, torturere og dræbe dem eller sende dem i koncentrationslejr. Samtidigt blev de eksisterende koncentrationslejre nedlagt igen med undtagelse af Dachau. I stedet oprettedes der planmæssigt nye, langt større lejre, hvor fangerne i størst mulig udstrækning blev brugt til tvangsarbejde i industrien. Sachsenhausen blev oprettet i 1936, Buchenwald i 1937, Mauthausen i 1938, Flossenbürg i 1938, Ravensbrück i 1939, Auschwitz i 1940, Neuengamme (oprindeligt en filial af Sachsenhausen men fra 1940 selvstændig), Natzweiler-Struthof i 1941, Gross-Rosen i 1941 og Stutthof i 1942. Sidst i 1941 trådte også udryddelseslejren Chelmno i funktion, i 1942 fulgt af udryddelseslejrene Treblinka, Sobibor og Belzec. Der blev også indrettet udryddelsescentre i Auschwitz-Birkenau (Auschwitz II) og Majdanek, der begge egentlig var oprettet som koncentrationslejre.

I krigstiden 1939-45, udviklede koncentrationslejrene sig stærkt, både hvad angår antallet af lejre og antallet af fanger. I denne periode brugtes lejrene især til at undertrykke den politiske og nationale modstand i de besatte lande og til at forsyne den tyske krigsindustri med arbejdskraft. Der blev ikke oprettet nye hovedlejre i den periode, men nogle arbejdslejre og andre selvstændige lejre blev omdannet til koncentrationslejre, for eksempel Mittelbau-Dora i 1944. Ialt 22 lejre fik i denne periode status som selvstændige koncentrationslejre.

Lejrene kom til at huse en blanding af tyske fanger og fanger fra de besatte lande. De tyske fanger, hvoraf en stor del var kriminelle, opnåede ofte en slags overfangestatus, dels fordi de var kommet først og derved kendte lejrenes funktion og dels fordi de beherskede sproget.

Det var oprindeligt planen at opdele lejrene i tre kategorier men denne plan blev ikke fuldført. I begyndelsen skelnede man derimod mellem koncentrationslejre, straffeanstalter og fængsler, hvoraf nogle hørte under SS og andre hørte under Gestapo, men da de i september 1939 alle kom under samme overledelse, var der ikke mere stor praktisk forskel.