Datum vzniku první osady na území Chełmska Śl. není známo. S největší pravděpodobností zde existovala osada na přelomu 10. a 11. století, co nám potvrzují staré dochované hradby. Některé zdroje uvádějí, že první zmínka o Chełmsku Śląském pochází z roku 1214. Z jistotou však víme, že osadu založili Češi, pravděpodobně kastelán z Úpy – nějaký Laurent. Jisté je i to, že Chełmsko Śl. už jako město existovalo v roce 1289. Předpokládá se, že mělo městská práva už od roku 1275. Od samého počátku Chełmsko Śl. plnilo funkci místního administrativního a úředního střediska. Městečko a jeho okolí bylo do 20. října 1343 soukromým majetkem nějakého Jerika de Ysinburga a jeho synovce Presecha de Gutinsetyna. Město bylo prodáno i s okolními obcemi opatovi Mikołajowi II z Krzeszowa a Konrádovi z Czernice. Konrád i s manželkou byli doživotními majiteli a majetek (Chełmsko Śląské) se po jejich smrti stal majetkem kláštera. Tento stav trval až do zrušení řádu v roce 1810.

Za dob Cisterciáckého řádu se město velmi rychle rozvíjelo. Už v roce 1352 jsou zmínky o existenci práva k Vysokému a nižšímu soudu a o 9 obcích náležících Chełmsku Śląskému. Město vlastnilo báňské právo, ale nic se neví o jeho využívání.

V roce 1392 město přistoupilo ke Koruně české, avšak ve slezské oblasti dále setrvával jako majetek cisterciáckého řádu.    
Úspěšný rozvoj okolí přerušily husitské války. V roce 1426 to bylo město otevřené a podobně jako Lubawka nemělo ochranné hradby, a tak se stalo snadnou kořistí husitů. Město bylo kompletně zničeno a zpustošeno. Po husitských válkách město ztratilo svůj význam a pravděpodobně i městská práva. 

Teprve 16. století přineslo obci období nového rozvoje. Chełmsko Śląské se stalo střediskem soukenictví a plátenictví a jejich obchodu. Stejně jako obyvatelé města, tak i okolní sedláci pěstovali len a věnovali se tkalcovství. Na nějakou dobu byl tento rozvoj pozastaven z důvodu velkého požáru, který vznikl v roce 1567. V roce 1580 po intenzivních zákrocích tehdejšího krzeszowského opata, vydal císař Rudolf II dokument, jež potvrzoval městu městská práva a dávná privilegia. Díky tomu město získalo právo na 2 jarmarky ročně, každý týden trh, celkovou samosprávu a vlastní erb.

V době 30-leté války docházelo k vážným střetům z náboženských důvodů. Došlo to do konce tak daleko, že 29. prosince 1620 u příjezdu do Chełmska, sedláci zastřelili opata M. Clavego. V rámci represe město ztratilo městská práva. Celou řadu neštěstí ještě doplnil ohromný požár v roce 1629, který pohltil téměř polovinu příbytků (kolem 60 obydlí ze 120). Zajímavé je to, že město zpět získalo městská práva, avšak do konce války se ho i tak nepodařilo obnovit.

Druhá polovina 17. stol. přinesla městu opět oživení, a to díky chalupářskému tkalcovství. Od roku 1698 získalo Chełmsko privilegium 2 trhů týdně, co bylo v oněch dobách vzácností a svědčilo to o tehdejší vysoké produkci, která byla posílaná dokonce do Ameriky. Město v tomto období opravilo poválečná zničení, rozvíjely se okolní obce a část z nich byla připojena k Chełmsku jako předměstí. Na náměstí byly postaveny okázalé domy a cisterciácký řád vybudoval v roce 1707 originální řadu dřevěných tkalcovských domů, nazvanou Dvánáct Apoštolů. V roce 1763 vznikla od vjezdu od strany Olsztyna druhá řada domů nazvaná Sedmero bratří, ve kterých se usídlili příchozí tkalci damašku z Bavorska. 

V roce 1793 došlo ke vzpouře tkalců, jež byli vyprovokovaní kamiennogórskými kupci. Na zprávy o výtržnostech docházelo ke vzpourám i v Lubawce, Kamienné Góře a dokonce v dosti vzdáleném Bolkowě. Vzpoura se rozšířila na oblast celých Středních Sudet a Pohoří. Teprve po intervenci vlády se výtržnosti uklidnily. 

V roce 1810 byla provedena reforma církevního majetku v celém Prusku. Výsledkem čeho Chełmsko přestalo být majetkem krzeszovských cisterciánů. Ve městě zahájila svoji činnost samospráva a soud. V roce 1875 bylo ve městě 275 obytných domů a 86 hospodářských stavení. Město mělo vlastní kostel, školu, městskou váhu, nemocnici, pivovar, 3 lihovary, vodní mlýn, mlýn na mletí dubové kůry, cihelnu a barvírnu. V těchto dobách bylo ve městě až 155 tkalcovských stavů.

Kolem poloviny 19. století  město upadá a lidé se začínají stěhovat. Situaci zhoršují další zničující požáry v roce 1829 a 1848. Po neúrodných letech dochází z důvodu hladu k výtržnostem. Vláda chce zlepšit situaci tkalců a zahájí výstavbu silnic, čím zaměstná hladové tkalce.

Určité oživení nastane koncem 19. století, kdy jsou zavedeny první mechanické tkalcovské stavy. V roce 1887 byla ve městě dokonce otevřená tkalcovská škola. V roce 1896 byla do města zavedená soukromá železnice z Kamienné Góry, která byla v roce 1899 prodloužena do  Okrzeszyna.Výstavba železnice výrazně ovlivnila rozvoj průmyslu i samotného městečka. V této době již obyvatelé mohli využívat elektriku a vodovody. 

Od 80-tých let se Chełmsko Śląské stalo nejpopulárnějším letoviskem. Bylo zde několik restauračních zařízení a hotýlků a městečko bylo díky své malebnosti vyhlášené. Cestovní ruch byl dosti rozšířený, jelikož město leželo na trase mezi Kamiennou Górou, Krzeszowem a českým Adršpachem.

Během 2. světové války se zde nacházel od roku 1940 pracovní tábor, ve kterém byli umístěni vězni z Gross-Rosen. Na hřbitově památku na 77 vězňů tohoto tábara připomíná mohyla. Nejsou zaznamenány žádné majetkové ztráty, jelikož se tomuto území vyhnuly válečné akce.

V roce 1945 z neznámých důvodů Chełmsko přišlo o městská práva a od roku 1957 získalo status kolonie, o kterou přišlo výsledkem administrativní reformy v roce 1973.