První puzzle zřejmě vytvořil v polovině 18. století britský kartograf John Spilsbury, který připevnil mapu Evropy na dřevěnou desku a pak z ní vyřezal každou evropskou zemi. Vyřezané státy pak byly použity k výuce studentů o různých zemích na kontinentu. Staly se komerčně dostupnými a byly tak populární, že Spilsbury rozšířil tyto naučné „puzzle“ o další mapy, včetně mapy světa, Asie, Afriky, Ameriky a Britských ostrovů.
Na konci dvacátých let, když zasáhla svět ekonomická krize, se puzzle staly oblíbenou volnočasovou aktivitou, jelikož byly cenově velmi dostupné a navíc je bylo možné používat opakovaně. Dnes se puzzle ručně nevyřezávají, ale používá se laserová technologie, díky čemuž k sobě dílky pasují s naprostou přesností.