I Gruveåsen og i Saggrenda er det flere bygningsmiljø tilknyttet produksjon, administrasjon og arbeidere ved gruvene. I tillegg er det i området et omfattende dam- og rennesystem som omfatter 50 dammer med 80 demninger og 50 km med vannrenner. Fra å ha midlertidig fredet mer enn 1500 enkeltminner, ble Kongsberg Sølvverk fredet som kulturmiljø ved kongelig resolusjon av 15. mai, 2003. Slik kunne en ivareta både enkeltminner og sammenhenger mellom minnene. Det fredete kulturmiljøet er ca. 30 km2.
Formålet ved fredningen var å sikre og bevare et nasjonalt og internasjonalt kulturhistorisk verdifullt industrielt kulturmiljø. Området omfatter alle arealer og kulturminner som ligger i dagen, alle underjordiske bergrom og kulturminner etter drift med dagåpninger innenfor området. Hele Christian 7. stoll og Underbergstollen inngår i fredningen.
At området er fredet innebærer at enkeltminnene må tas hensyn til i forbindelse med skogbruk i området, men står ikke i veien for normal drift. Forskning og dokumentasjon kan også utføres, under forutsetning av at undersøkelsene er godkjent av forvaltningsmyndighetene. Det er også tillatt med hensynsfull ferdsel på opparbeidete veier og stier, friluftsliv i området, besøksavvikling og tilrettelagt formidling i gruvene og annen nødvendig aktivitet som ikke medfører skjemming eller direkte inngrep i kulturminner. I fredningsforskriften står det tydelig at: «Ferdsel i gruveganger og bergrom må ikke utøves uten særskilt tillatelse fra forvaltningsmyndigheten.».
Kulturminneforvaltningens instansrekkefølge for kulturmiljøet Kongsberg Sølvverk er:
- Viken fylkeskommune
- Riksantikvaren
- Miljøverndepartementet