Le nom Quimperlé vient de kemper, « confluent » en breton, et de Ellé une des rivières qui traversent la ville. La ville se situe en effet au point de confluence de l'Ellé et de l'Isole. Celles-ci se rejoignent pour donner naissance à la Laïta, un estuaire long d'une quinzaine de km soumis à la marée. Un autre cours d'eau de moindre importance traverse la cité, le Dourdu (eau noire en breton), qui se jette directement dans la Laïta en aval des deux autres.
On distingue traditionnellement une ville haute et une ville basse. La ville basse (centre aristocratique et religieux) s'est développée autour de l'église Saint-Colomban dont il ne subsiste plus qu'une façade et de l'abbaye bénédictine Sainte-Croix de Quimperlé tandis que la ville haute s'est développée autour de l'église Saint-Michel et de sa place (centre d'origine commerçant).
La ville basse occupe la zone de terrain enserrée entre les cours de l'Ellé et de l'Isole ainsi que les rives de la Laïta. Cette zone est facilement inondable. D'ailleurs les quais Brizeux et Surcouf sont régulièrement noyés sous les eaux de la Laïta. L'hôtel Brizeux est un indicateur visuel très pratique pour mesurer la hauteur d'eau lors d'une crue.
La ville haute occupe au contraire les parties hautes avec la montagne Saint-Michel.