В Красной Армии с апреля 1941г.

В 1942г. окончил Омскую военную авиационную школу пилотов.

Направлен в 12 бомбардировочный авиаполк.

С 15 июля 1942г. личный состав полка находился в Омске, на авиазаводе №166 изучал материальную часть самолета Ту-2.

С 07 октября 1942г. по 18 января 1943г. летный состав проходил практическую программу по переучиванию на самолет Ту-2.

С 21 января по 06 февраля полк совершил перелет по маршруту Омск- Свердловск- Казань- Ярославль.

До 26 апреля экипажи отрабатывали бомбометание, воздушную стрельбу и маршрутные полеты. 

С 26 апреля по 07 мая- перелет Ярославль- Красный Кут- Невинномысск.

До 23 мая- боевая подготовка.

23 мая- перелет на аэродром Кореневская (Краснодарский край).

С 01 июня по 09 июля личный состав полка занимался командирской учебой, производил учебные вылеты на отработку техники пилотирования и бомбометания.

С 09 по 13 июля полк совершил перелет по маршруту Кореновская- Энгельс- Сушковка.

К 23 июля материальная часть 21 самолета была подготовлена к выполнению дальнейших боевых задач. 

Полк перебазировался на аэродром Ржев.

26 июля 1943г. Евгению Матвеевичу было присвоено звание младший лейтенант.

13 августа полковая колонна из 13 самолетов, ведомая командиром полка майором Козыревым Петром Харитоновичем, вылетела на бомбардировку командного пункта и войск противника в пос.Духовщина.  Колонна состояла из 3 групп. Вероятно, экипаж: летчик младший лейтенант Кащеев Евгений Матвеевич, штурман младший лейтенант Печень Михаил Степанович, стрелок-радист старшина Симонов Сергей Григорьевич, воздушный стрелок старший сержант Матвеенко Алексей Иванович- был в составе второй группы, состоявшей из 4 самолетов Ту-2 (ведущий- командир 1 авиаэскадрильи капитан Герасимов Николай Константинович). Группа бомбардировала цель в 10-30 с высоты 2300м. Была обстреляна зенитной артиллерией. В период с 10-30 до 10-32 наши самолеты были атакованы 8 истребителями ФВ-190 (Фокке-Вульф). В воздушном бою были сбиты два истребителя. Огнем истребителей были сбиты 2 самолета Ту-2, один подбит. У самолета младшего лейтенанта Кащеева снарядом была разрушена гидросистема. Посадку на свой аэродром он произвел с убранными шасси.

14 августа экипаж Кащеев, Печень, Симонов, Матвеенко в составе семерки Ту-2 (ведущий- капитан Герасимов) вылетел в 17-00 на бомбардировку артиллерийских позиций и техники противника в районе Буянцево. Группе были приданы истребители сопровождения. Бомбы были сброшены на цель в 18-25 с высоты 2100м. На подлете и в районе цели наши самолеты были обстреляны зенитной артиллерией. Затем, атакованы истребителями ФВ-190 и Ме-109 (Мессершмитт)- до 18 истребителей. В групповом бою был сбит один  Ме-109, второй- подбит. В 19-07 группа вернулась на свой аэродром.

13 сентября штурманом в экипаже был старший лейтенант Федоров Вениамин Дмитриевич. Экипаж  в составе девяти Ту-2, взлетев в 10-06, в 11-22 с высоты 3500м. бомбил войска противника в районе Рыбшево. В 12-05 экипаж вернулся на свой аэродром.

15 сентября 1943г. в период с 07-50 по 08-00 10 самолетов полка 2 группами произвели вылет на боевое задание. Ведущий первой группы- капитан Герасимов, второй- лейтенант Боговой Василий Алексеевич. Обе группы прикрывали по 5 истребителей Ла-5. С 09-00 до 09-17 группы с высот 2200м. и 1900м. с одного захода нанесли удар по опорному пункту противника  в районе Старое Селище-  Жигулино. На выходе от цели вторая группа была атакована 7 истребителями ФВ-190 (Фокке-Вульф) и 5- Ме-109 (Мессершмитт). Первая группа не атаковалась. Вторая пятерка с задания не вернулась. Среди сбитых, экипаж: летчик младший лейтенант Кащеев Евгений Матвеевич, штурман младший лейтенант Печень Михаил Степанович, стрелок-радист старшина Симонов Сергей Григорьевич, воздушный стрелок старший сержант Матвеенко Алексей Иванович.

Евгений Матвеевич выпрыгнул из горящего самолета на парашюте. Попал в плен. В группе военнопленных совершил побег. Через несколько дней местность, где скрывались беглецы, была освобождена нашими наступающими частями.

Младший лейтенант Кащеев вернулся в полк.

В 1944г. полк участвовал в прорыве линии Маннергейма и в освобождении Выборга на Ленинградском фронте, на 3 Белорусском- бомбардировал станцию Минск, не дав возможности противнику эвакуировать 50 эшелонов с техникой. На 1 Прибалтийском фронте полк наносил удары по войскам противника; по железнодорожным станциям Малта, Митава, Мейтене, Оига, Полин; по переправам в районах Дриса и Друя; по аэродрому Эйзере.

К средине октября 1944г. лейтенант Кащеев совершил 16 успешных боевых вылетов. Приказом от 10 сентября 1944г. награжден орденом Отечественной войны I степени.

Весной 1945г. экипажи полка наносили удары по объектам противника в Кенигсберге, в порах Пиллау и Розенберг, по укреплениям в районе Хайлигенбайль.

22 марта самолет командира звена лейтенанта Кащеева (штурман- лейтенант Муратов Дмитрий Яковлевич) был подожжен немецкими истребителями. Экипаж спасся на парашютах. Евгений Матвеевич получил ожоги лица и рук 2 степени.

После излечения вернулся в полк.

С 16 апреля участвовал в Берлинской операции, совершив 5 боевых вылетов. Бомбардировал Берлин. 

Совершил 27 успешных боевых вылетов. 09 мая 1945г. был представлен к ордену Красного Знамени. Приказ о награждении от 10 июля 1945г.

Летом 1945г. полк был переброшен в Монголию. Участвовал в Советско-японской войне.

Лейтенант Кащеев совершил 3 боевых вылета на бомбардировки станций Ванемяо и Солунь.

Был представлен к ордену Красного Знамени, приказом от 15 октября 1945г. награжден орденом Отечественной войны II степени.

Награжден медалями «За оборону Кавказа», «За взятие Кенигсберга», «За взятие Берлина», «За победу над Германией в Великой Отечественной войне 1941-1945 гг.», «За победу над Японией».

За долголетнюю и безупречную службу в 1950г. награжден медалью «За боевые заслуги».

В 1953г. и в 1968г. награжден орденами Красной Звезды.

С 06 июня 1970г. полковник Кащеев командовал воинской частью 13736 (2 отдельная транспортная авиационная эскадрилья). На вооружении части стояли военно-транспортные самолеты Ан-26.

Уволен в запас 13 ноября 1974г.

В честь 40-летия Победы награжден орденом Отечественной войны II степени.