W 1934 przyjechał do Gdyni. Wraz z bratem Zygmuntem malował szyldy i nazwy statków (m.in. Kościuszko, Batory). Po zakończeniu wojny w 1945 zgłosił się wraz z ojcem i dwoma braćmi do Urzędu Miejskiego w Gdyni, gdzie otrzymali zadanie zmian nazw ulic i szyldów na budynkach urzędów i instytucji. W 1946 rozpoczął studia malarskie w PWSSP w Sopocie w pracowni prof. Artura Nachta-Samborskiego i prof. Jacka Żuławskiego (dyplom uzyskał w 1952). W 1949 otrzymał stypendium rządu francuskiego na studia w Paryżu i zostaje uczniem u słynnego malarza francuskiego Fernanda Légera. W 1950 wrócił do Gdyni i wziął ślub z Haliną Krywald, z którą miał dwójkę dzieci. W latach 1964-87 był wykładowcą w pracowni malarstwa sztalugowego w PWSSP w Gdańsku. W październiku 1981 roku otrzymał tytuł profesora nadzwyczajnego. W latach 1981-84 był prodziekanem Wydziału Malarstwa i Grafiki. Prezentował swoje obrazy na 60 wystawach indywidualnych i zbiorowych. W lutym 2000 roku w Galerii 78 w Gdyni zorganizowana została przez przyjaciół i uczniów artysty wystawa; "Bez tytułu - pamięci profesora Kazimierza Ostrowskiego". Od 2002 przyznawana jest przez ZPAP w Gdańsku Nagroda im. Kazimierza Ostrowskiego - ogólnopolskie wyróżnienie przyznawane za wybitne osiągnięcia w dziedzinie malarstwa.