В Красной Армии с апреля 1941г.

В 1942г. окончил Омскую военную авиационную школу пилотов.

Направлен в 12 бомбардировочный авиаполк.

С 15 июля 1942г. личный состав полка находился в Омске, на авиазаводе №166 изучал материальную часть самолета Ту-2.

С 07 октября 1942г. по 18 января 1943г. летный состав проходил практическую программу по переучиванию на самолет Ту-2.

С 21 января по 06 февраля полк совершил перелет по маршруту Омск- Свердловск- Казань- Ярославль.

До 26 апреля экипажи отрабатывали бомбометание, воздушную стрельбу и маршрутные полеты. 

С 26 апреля по 07 мая- перелет Ярославль- Красный Кут- Невинномысск.

До 23 мая- боевая подготовка.

23 мая- перелет на аэродром Кореневская (Краснодарский край).

С 01 июня по 09 июля личный состав полка занимался командирской учебой, производил учебные вылеты на отработку техники пилотирования и бомбометания.

С 09 по 13 июля полк совершил перелет по маршруту Кореновская- Энгельс- Сушковка.

К 23 июля материальная часть 21 самолета была подготовлена к выполнению дальнейших боевых задач. 

Полк перебазировался на аэродром Ржев.

26 июля 1943г. Евгению Матвеевичу было присвоено звание младший лейтенант.

13 августа полковая колонна из 13 самолетов, ведомая командиром полка майором Козыревым Петром Харитоновичем, вылетела на бомбардировку командного пункта и войск противника в пос.Духовщина.  Колонна состояла из 3 групп. Вероятно, экипаж: летчик младший лейтенант Кащеев Евгений Матвеевич, штурман младший лейтенант Печень Михаил Степанович, стрелок-радист старшина Симонов Сергей Григорьевич, воздушный стрелок старший сержант Матвеенко Алексей Иванович- был в составе второй группы, состоявшей из 4 самолетов Ту-2 (ведущий- командир 1 авиаэскадрильи капитан Герасимов Николай Константинович). Группа бомбардировала цель в 10-30 с высоты 2300м. Была обстреляна зенитной артиллерией. В период с 10-30 до 10-32 наши самолеты были атакованы 8 истребителями ФВ-190 (Фокке-Вульф). В воздушном бою были сбиты два истребителя. Огнем истребителей были сбиты 2 самолета Ту-2, один подбит. У самолета младшего лейтенанта Кащеева снарядом была разрушена гидросистема. Посадку на свой аэродром он произвел с убранными шасси.

14 августа экипаж Кащеев, Печень, Симонов, Матвеенко в составе семерки Ту-2 (ведущий- капитан Герасимов) вылетел в 17-00 на бомбардировку артиллерийских позиций и техники противника в районе Буянцево. Группе были приданы истребители сопровождения. Бомбы были сброшены на цель в 18-25 с высоты 2100м. На подлете и в районе цели наши самолеты были обстреляны зенитной артиллерией. Затем, атакованы истребителями ФВ-190 и Ме-109 (Мессершмитт)- до 18 истребителей. В групповом бою был сбит один  Ме-109, второй- подбит. В 19-07 группа вернулась на свой аэродром.

13 сентября штурманом в экипаже был старший лейтенант Федоров Вениамин Дмитриевич. Экипаж  в составе девяти Ту-2, взлетев в 10-06, в 11-22 с высоты 3500м. бомбил войска противника в районе Рыбшево. В 12-05 экипаж вернулся на свой аэродром.

15 сентября 1943г. в период с 07-50 по 08-00 10 самолетов полка 2 группами произвели вылет на боевое задание. Ведущий первой группы- капитан Герасимов, второй- лейтенант Боговой Василий Алексеевич. Обе группы прикрывали по 5 истребителей Ла-5. С 09-00 до 09-17 группы с высот 2200м. и 1900м. с одного захода нанесли удар по опорному пункту противника  в районе Старое Селище-  Жигулино. На выходе от цели вторая группа была атакована 7 истребителями ФВ-190 (Фокке-Вульф) и 5- Ме-109 (Мессершмитт). Первая группа не атаковалась. Вторая пятерка с задания не вернулась. Среди сбитых, экипаж: летчик младший лейтенант Кащеев Евгений Матвеевич, штурман младший лейтенант Печень Михаил Степанович, стрелок-радист старшина Симонов Сергей Григорьевич, воздушный стрелок старший сержант Матвеенко Алексей Иванович.

Евгений Матвеевич выпрыгнул из горящего самолета на парашюте. Попал в плен. В группе военнопленных совершил побег. Через несколько дней местность, где скрывались беглецы, была освобождена нашими наступающими частями.

Младший лейтенант Кащеев вернулся в полк.

К июню 1944г. полк перебазировался на ленинградский аэродром Углово. Участвовал в бомбардировке оборонительных сооружений линии Маннергейма, позиций противника в районе Выборга и на северном берегу р.Свирь в районе Лодейного поля.

09 июня у самолета экипажа 1 эскадрильи: летчик лейтенант Кащеев Евгений Матвеевич, штурман старший лейтенант Рудь Олег Михайлович, стрелок-радист старшина Левченко Григорий Васильевич, воздушный стрелок старший сержант Калиниченко Виктор Кондратьевич- при взлете лопнула камера. Летчик посадил самолет на фюзеляж.

14 июня экипаж в составе звена бомбардировал железнодорожную станцию Мустомяки.

С 01 июля на 3 Белорусском фронте полк бомбардировал мост и переправу на р.Западная Двина и станцию Минск-товарная, не дав возможности противнику эвакуировать 50 эшелонов с техникой. 

02 июля экипаж Кащеев, Рудь, Левченко, Калиниченко участвовал в налете на станцию Минск-товарная.

С 17 июля на 1 Прибалтийском фронте полк наносил удары по войскам противника; по железнодорожным станциям Малта, Митава, Мейтене, Оига, Полин; по переправам в районах Дрисса и Друя; по аэродрому Эйзере. 

Боевые вылеты полка в июле: 01, 02, 05, 17, 25, 26, 27.

27 июля 1944г. над Митавой истребителями противника был сбит самолет командира полка подполковника Васякина и штурмана полка майора Труханова Антона Николаевича. Командование полком принял майор Герасимов Николай Константинович, штурманом полка был назначен лейтенант Бирюков Михаил Петрович.

Боевые вылеты полка в августе: 01, 15, 16, 20, 25 (2 вылета), 28.

Боевые вылеты полка в сентябре: 13 (вернулись по метеоусловия), 14, 15, 16, 19, 20, 21.

Боевые вылеты полка в октябре: 09, 10, 14 (2 вылета), 16 (2 вылета), 22, 24, 30.

09 октября экипаж командира звена Кащеева водил 6 самолетов 1 эскадрильи в группе из 18 Ту-2 на бомбардировку железнодорожной станции Руба.

К средине октября 1944г. лейтенант Кащеев совершил 16 успешных боевых вылетов. Приказом от 10 сентября 1944г. награжден орденом Отечественной войны I степени.

В ноябре 1944г. полк боевой работы не вел.

Командиром полка был назначен гвардии майор Кожевников Ванифатий Алексеевич.

Боевые вылеты полка в декабре: 15, 21, 22, 23.

Полк базировался на аэродроме Высоке Мазовецк (в 50км. юго-западнее Белостока).

В январе-феврале 1945г. полк боевой работы не вел.

В начале марта перебазировался на аэродром Гросс Шиманен (в 8км. южнее Ортельсбург).

Весной 1945г. экипажи полка наносили удары по объектам противника в Кенигсберге, в портах Пиллау и Розенберг, по укреплениям в районе Хайлигенбайль и Данцига.

Боевые вылеты полка в марте: 11, 18 (2 вылета), 19.

22 марта 1945г. полковая колонна из 18 самолетов Ту-2, ведомая заместителем командира полка майором Черенковым Николаем Иосифовичем, в 12-10 вылетела на бомбардировку порта Розенберг (совр. пос.Краснофлотское Калининградской обл.). В 13-10 бомбы были сброшены на цель. Над целью бомбардировщики были атакованы истребителями противника (от 10 до 18 штук). В воздушном бою два экипажа были сбиты. Самолет командира звена лейтенанта Кащеева (штурман- лейтенант Муратов Дмитрий Яковлевич) был подожжен немецкими истребителями. Экипаж спасся на парашютах. Воздушный стрелок старший сержант Калиниченко был тяжело ранен в левую руку (в госпитале руку ампутировали). Евгений Матвеевич получил ожоги лица и рук 2 степени.

После излечения вернулся в полк.

С 16 апреля участвовал в Берлинской операции.

Лейтенант Кащеев в составе 10 Ту-2 бомбардировал опорные пункты противника на Зееловских высотах.

17 апреля в составе девятки возвратился с маршрута из-за плохих метеоусловий.

Бомбардировал Берлин. 

Совершил 27 успешных боевых вылетов. 09 мая 1945г. был представлен к ордену Красного Знамени. Приказ о награждении от 10 июля 1945г.

Летом 1945г. полк был переброшен в Монголию. Участвовал в Советско-японской войне.

Лейтенант Кащеев совершил 3 боевых вылета на бомбардировки станций Ванемяо и Солунь.

Был представлен к ордену Красного Знамени, приказом от 15 октября 1945г. награжден орденом Отечественной войны II степени.

Награжден медалями «За оборону Кавказа», «За взятие Кенигсберга», «За взятие Берлина», «За победу над Германией в Великой Отечественной войне 1941-1945 гг.», «За победу над Японией».

За долголетнюю и безупречную службу в 1950г. награжден медалью «За боевые заслуги».

В 1953г. и в 1968г. награжден орденами Красной Звезды.

С 06 июня 1970г. полковник Кащеев командовал воинской частью 13736 (2 отдельная транспортная авиационная эскадрилья). На вооружении части стояли военно-транспортные самолеты Ан-26.

Уволен в запас 13 ноября 1974г.

В честь 40-летия Победы награжден орденом Отечественной войны II степени.