XVII w. - Passenheim - Pasym - Panorama miasta.
Rycina - Christoph Hartknoch.
Miasto położone pomiędzy trzema jeziorami: Kalwa - 569 ha, Leleskie - 482,2 ha, Grom - 241 ha.
Pierwotnie ziemie te zamieszkiwał pruski szczep Galindów, który w latach 800-1300, posiadał tu liczne osady i grody, a jeden z nich - znany jako Okrągła Góra - zlokalizowany był na półwyspie Gajka, wrzynającym się w wody jeziora Kalwa. W latach 992-1223 tereny te były areną działań wojennych między wojskami polskimi, a Prusami. W 1225 r. ziemie Prus zaczęli najeżdżać Krzyżacy i udało im się je podbić w 1283 r.
Miasto założone przez Krzyżaków w 1386 r. otrzymało nazwę od założyciela komtura elbląskiego - Zygfryda von Passenheima. W czasie wojny 13-letniej opowiedziało się za Polską, jednakże po pokoju toruńskim, wróciło pod panowanie Zakonu. Zamek został wzniesiony po wojnie 13-letniej, później nazywany był Schervitzen Hof. Budowla ta została zniszczona w połowie XVII w., a ostatecznie rozebrana w XIX w. Na miejscu dawnego zamku wzniesiono kościół katolicki.
W 1461 r. mieszkańcy Pasymia przystąpili do Związku Pruskiego i prowadzili działania przeciwko Zakonowi - w 1459 r. wycięto oddział krzyżacki, zwabiony obietnicą poddania im miasta. W 1462 r. zajęto krzyżackie Jeziorany, Barczewo i Zalewo. Na początku XVI w., gdy Albrecht Hohenzollern odmówił złożenia hołdu królowi polskiemu, doszło do kolejnej wojny, w wyniku której Pasym trafił w ręce polskie na 5 lat.
W latach 1547-1549 proboszczem był ksiądz Andzej Samuel, doktor teologi, pisarz religijny. W Pasymiu młode lata spędził Krzysztof Hartknoch (1644-1687) historyk Polski i Prus, profesor Gimnazjum Toruńskiego.
W 1657 r. miasto zostało zniszczone w czasie najazdu tatarskiego. Od XVIII w. traciło na znaczeniu na rzecz rozwijającego niedaleko Ortelsburg (Szczytno). W lutym 1807 r. przez kilka dni stacjonował tu Napoleon wraz z 60-tysięczną armią. Kwatera Napoleona mieściła się na plebanii. W 1750 r. i 1868 r. mocno ucierpiało na skutek pożarów.
W 1883 r. o 3 km od Pasymia wytyczono linię kolejową, w 1898 r. wybudowano gazownię, w 1904 r. rzeźnię, w 1911 r. wodociągi. Na początku XX w. Pasym zaczął sie rozwijać jako ośrodek turystyczny. W czasie II wojny światowej 30 % miasta legło w gruzach, a wiosną 1946 r. utraciło prawa miejskie, które odzyskało w 1997r.