Tento nejstarší chráněný geologický útvar na českém území vyčnívá z náhorní plošiny mezi Kamenickým Šenovem a Práchní. V 18. století zde byla postupnou těžbou odhalena jedna z nejkrásnějších ukázek sloupcové odlučnosti čediče 
u nás. Jsou vedle sebe uspořádány jako píšťaly u kostelních varhan.

Pod skálou je malé jezírko, které vzniklo v jámě po vytěženi horniny a je plněno srážkovou vodou. Na východním úpatí vrchu stojí starý kamenný sloup Panny Marie.

Již před koncem 19. století byla snaha zachránit tento jedinečný skalní útvar před zničením. Byla však dlouho neúspěšná, protože zákony na ochranu přírody ještě neexistovaly a na vykoupení lomu nebyly peníze.

V roce 1902 se podařilo za shromážděné peníze dosáhnout alespoň zastavení těžby na vlastním vrcholku skály. V roce 1906 byla s majitelkou lomu uzavřena dohoda o pronájmu hlavní stěny lomu na 6 let, po jejímž uplynutí však byla těžba opět zahájena a majitelka požadovala za další pronájem dvojnásobnou cenu, na kterou již shromážděný kapitál nestačil.

V roce 1914 byla skála okresním výborem v České Kamenici vykoupena a od té doby měla být chráněna. Pak ale přišla 1. světová válka, lámání kamene bylo opět obnoveno a pokračovalo až do roku 1948. Narušená skalní stěna pak byla zakonzervována a od roku 1953 je skála chráněnou přírodní památkou.

Ze snadno dostupného vrcholu je pěkný rozhled 
k severu a západu na Kamenický Šenov a okolní kopce.

Během léta roku 2006 bylo v blízkosti Panské skály vybudováno velkokapacitní parkoviště s informačním střediskem a dalším zázemím pro turisty. Parkoviště je placené.