Разположен в планински район, а близо до града се намира язовир "Доспат". Релефът е планински, силно пресечен, пролетта настъпва късно, лятото е прохладно, а есента - топла. От Беломорското влияние по река Доспатска зимата е мека, задържа се сняг. Един от най-интересните и важни ресурси е природата на Доспат, а самият язовир освен стопанското значение е и изключително подходяща база за развитие на спортен риболов и свързаните с него форми на туризъм.
Всяка година последният уикенд на Август се организира събор с много скара, бира и забавления. Започнал през 80-те години като събор на чешмарите под егидата на ООН, тъй като в района има построени над 180 крайпътни чешми като дарение от местните жители.

Предполага се, че градът е основан от владетеля Деспот Слав, от когото носи и името си. На местния диалект името на града е Доспать, което според местните идва от двете, думи дос (на) и пать (път). Доспат се намира там, където минавал древен път за Пловдив и Смолян. В околностите на града са намирани останки, които са от 4–5 век пр.н.е.