Savā otrajā desmitgadē Ventspils muzejs pārceļas uz pilsētas valdes namu Kuldīgas ielā 2 ( bij. Gūtšmitu nams), kur tam ierādītas vairākas telpas. 1938.g. laikraksts “Ventas Balss” ziņo par tieslietu ministrijas nodomu likvidēt cietumu Ventspils pilī, un iespēju pilī ierīkot pilsētas muzeju. Sākas 2. pasaules karš, pilsētas valdes namā iekārtojas vācu okupācijas pārvaldes iestādes, muzeju pārceļ uz Plato ielu 26. Muzeja pārzinis ir J.Sviestiņš. Zināms, ka muzeja eksponātu skaits ir 1850, no tiem 700 izvietoti ekspozīcijā. Tiek iekārtotas nelielas izstādes, piemēram, kalendāru izstāde; seno laikrakstu izstāde u.c. Visus kara gadus apmeklētāju skaits – nedaudz virs 1000.
1944.g. septembrī muzeju izliek no telpām, neierādot citu vietu. J. Sviestiņš dodas emigrācijā, muzeja priekšmeti izdalīti glabāšanai muzeja draugiem, bet, muzeja darbībai atsākoties pēc kara, no aptuveni diviem tūkstošiem lietu saglabājušās – 500.
Ar šādu krājumu muzejs atsāk darbību 1945. gada jūlijā, direktora A.Šulca vadībā. Septembrī muzejam tiek piešķirta ēka Akmeņu ielā 3. Pirmā izstāde – Ventspils mākslinieku gleznas 1946.g. jūlijā. Šajā gadā apstiprināts šāds muzeja nosaukums: Ventspils novadpētniecības un mākslas muzejs. Notiek vairākas plašas sociālisma sasniegumus atainojošas izstādes.
Šajā laikā muzejs “apmet loku” no cerībām uz relatīvu stabilitāti un savu ēku, līdz gandrīz izputēšanai kara beigās un no jauna iegūtu patstāvīgu mājvietu uz ilgiem gadiem.