Załamanie gospodarcze Inowłodza następuje w okresie drugiej wojny północnej, potocznie zwanej „potopem szwedzkim”. Przez miasto przemieszczają się siły zarówno koronne jak i szwedzkie i przechodzi ono z rąk do rąk. We wrześniu 1655 roku Szwedzi zajmują wreszcie Inowłódz, obsadzając zamek niedużą załogą i czyniąc z niego dogodne miejsce kuracyjne dla rannych żołnierzy. 9 września Stefan Czarnecki pod Inowłodzem, od strony Rawy, stacza swą pierwszą, zwycięską bitwę, biorąc do niewoli 300 Szwedów.
Po odbiciu w roku następnym, przez króla Jana Kazimierza, Warszawy i wyparciu Szwedów z Piotrkowa, załoga szwedzka na inowłodzkim zamku widząc, że nie zdoła się obronić w razie ataku Polaków, niezwłocznie opuszcza zamek, podpalając go. Od tej pory popada on w całkowitą ruinę i do czasów nam współczesnych nie jest już odbudowywany. Podupada również i samo miasto, ogołacane i rabowane przez przemieszczające się tędy wojska. Aż do rozbiorów nie odzyskuje już ono swojej dawnej świetności, schodząc do rangi niewielkiej osady, mimo potwierdzania starych i nadawania mu nowych przywilejów i ulg przez króla Stanisława II Augusta Poniatowskiego w latach 1777 i 1791.
Po drugim rozbiorze Polski w 1793 roku Inowłódz zajmują Prusacy, tworząc w nim graniczną komorę celną, obsadzoną przez wojsko. Kościół św. Idziego zamieniają na magazyn zbożowy, a na przyległym cmentarzu zakładają skład paszy dla koni. Nocą mieszczanie inowłodzcy wynoszą część wyposażenia kościółka oraz słynący łaskami obraz Matki Boskiej i umieszczają w kościele św. Michała.
Pruską załogę miasta rozbija 21 marca 1794 roku generał Józef Antoni Madaliński, spieszący z pomocą Kościuszce, na wieść o szykującym się powstaniu narodowym. Również po wkroczeniu wojsk napoleońskich i utworzeniu Księstwa Warszawskiego, Inowłódz jest świadkiem przemarszu wojsk polskich i austriackich oraz kilku potyczek o przeprawę na Pilicy. W czasie tej wojny miasto także jest rabowane i niszczone przez Austriaków, przez co liczba mieszkańców spada do 400 i są w nim już tylko 44 domy.
Po upadku Napoleona I i Kongresie Wiedeńskim, Inowłódz wchodzi w skład powiatu rawskiego w zaborze rosyjskim. W 1835 roku, z poruczenia rządu powstaje tu pierwszy piec hutniczy według projektu inżyniera Henryka Kadena. Otrzymuje on tę hutę na własność, a odlewane w niej są koła trybowe, rury i inne części do maszyn.
Dobra rządowe Inowłódz kupują w 1839 roku małżonkowie Piotrowscy. Dzięki uruchomieniu przemysłu metalowego status miasta do połowy XIX wieku nieco wzrasta. W tym okresie liczy ono 101 domów, 961 mieszkańców, w tym 265 Żydów, dla których pobudowano synagogę. W 1846 roku zostaje zamknięty, z powodu zapadnięcia się sklepienia, kościół św. Idziego, w którym po wyparciu Prusaków zaczęto powtórnie odprawiać nabożeństwa, i od tego czasu popada on w całkowitą ruinę.