Все это, однако, не смогло предотвратить вторжения венгерского войска, которое возглавил сам Луи Великий весной-летом 1347 года. Неаполитанские войска. во главе которых стоял Луи Тарентский, назначенный Капитаном Королевства, вышли на оборонительный рубеж близ Капуа. Здесь они должны были остановить продвижение Луи Великого к Неаполю но при приближении венгерской армии они разбежались. В то же время, несмотря на непосредственную опасность самому правлению Дома Анжу в южной Италии, конфликты в королевской семье не прекращались. Поскольку и Роберт Тарентский, и Карл Дураццо бросили все и бежали в Неаполь, судьба королевы была предрешена Она уплыла в Прованс, погрузившись вместе с приближенными ночью 15 января 1348 года на две галеры, не дожидаясь возвращения мужа из Капуа. Луи чудом сумел выбраться на маленькой лодке из Неаполя двумя днями позднее.
Неясно, почему Джиованна бросила в Неаполе своего маленького сына. Возможно, что Карл Ди Дураццо не позволил ей забрать сына с собой. С другой стороны, есть вероятность того, что под влиянием мужа, Луи Тарентского, у Джиованны развилась неприязнь к маленькому Карлу Мартеллу, рожденному от мужа, которого она не любила. Луи мог надеяться на то, что наследование будет передано его сыну – в этот момент Джиованна была беременна от него.
Между тем, венгерское войско, не встретив никакого сопротивления, 17 января 1348 года вступило в Аверса. Туда двумя днями позднее прибыли Роберт Тарентский и его младший брат Филипп, вместе с Карлом ди Дураццо и двумя его младшими братьями. Знать явилась перед королем с тяжелым сердцем и сильнейшими сомнениями. Они принесли присягу королю Луи Великому Венгерскому, в качестве регента при маленьком Карле Мартелле. Папский нунций отправился в Неаполь и уговорил приехать семьи этих принцев, включая малых детей, в Аверса.
Граф Фонди и синьор Лалло ди Аквилла предупредили Карла ди Дураццо о том, что король намерен его арестовать. Ди Дураццо, однако, не прислушался к их советам и поверил королю. Его особенно убедили то праздничное настроение, в котором находился король и то, какие пиршества он закатил. Чем больше граф и синьор пытались убедить Карла ди Дураццо, тем более он мрачнел, и, в конце концов пригрозил, что ежели они не прекратят – он передаст их слова королю.
