В конце 1930-х - самом начале 1940-х гг. командование императорского флота сформировало еще несколько полков, частично оснащенных А5М4. Например, полк "Читозе" создали в ноябре 1939 г. на острове Хоккайдо, полк "Гензан" начали комплектовать в Гензане (Корея) в ноябре 1940 г. В апреле следующего года появился 1-й полк, имевший состав, аналогичный "Гензану", а в сентябре на Тайване сформировали полк "Тайнань". Несмотря на многочисленные упоминания в отечественной мемуарной литературе, на Халхин-Голе А5М4 на самом деле не был. За него принимали очень похожий армейский истребитель Ки.27 (он же "тип 97", а в советских справочниках - И-97).
В Китае же А5М4 воевали еще долго. Авиация императорского флота применяла их и на море, и на суше. Продолжающееся присутствие морских летчиков на сухопутном фронте объяснялось двумя факторами: необходимостью приобретения боевого опыта и большим радиусом действия морских самолетов, позволявшим им летать в глубокий тыл китайцев. Основная база авиации флота располагалась в Ханькоу. А5М4 прикрывали аэродромы и порты, летали на сопровождение бомбардировщиков. К началу 1940 г. в Китае действовали 2-я и 3-я авиафлотилии, включавшие более 50 истребителей этого типа. Кроме того, у побережья находились авианосцы, с конца 1938 г. полностью заменившие старые бипланы на монопланы. Но сражаться им приходилось нечасто, в большинстве случаев боевая практика ограничивалась стрельбой по наземным целям, бомбометание осуществлялось довольно редко.
В 1940 г. на вооружение приняли новый палубный истребитель А6М ("тип 0", более известный как "Зеро"), намного превосходящий своего предшественника по скорости, дальности полета и весу секундного залпа. Внедрение этих машин в строевые части тоже начали с Китая. В сентябре 12-й авиаполк получил 27 новеньких А6М1. Но старые истребители еще довольно долго находились в строю. В конце года японцы приобрели базы в Индокитае. Туда перебросили значительные силы авиации, в том числе 14-й полк с А5М4. Оттуда японские самолеты начали совершать налеты на Кун-мин на юге Китая. К середине 1941 г. на "Зеро" полностью перевооружили 12-й и частично 14-й полки, а также подразделения на всех крупных авианосцах новой постройки. Например, на "Акаги" А5М4 служили до июня. Старые истребители постепенно начали передавать в подразделения на береговых базах и учебные части.