Dudas con hacienda

Hola a todos, no sé si este es el apartado ideal para escribir esto, pero no he encontrado ningún subforo en concreto. Acabo de registrarme para preguntaros porque realmente estoy bastante desesperado ahora mismo con la situación.

Viví en Hungría en el año 2018, alquilando un piso durante más de 6 meses con otros compañeros pokeriles. Antes de irme rellené el modelo 030 para darme de baja en España, y al llegar allí me di de alta como residente en Hungría. 4 años después me ha llegado investigación de Hacienda donde parece ser que no les vale todo esto, alegando que allí no hice la declaración y que no me di de baja al irme como residente (error gordo). 

Ha ido todo super rápido yy ni he tenido tiempo de ponerlo en manos de abogados, este mismo día 26 tengo que volver a la sede de Hacienda, quieren que firme la conformidad con la deuda y sanción que quieren imponerme. 

La pregunta, es, vale la pena lucharlo? si alguien me puede echar una mano estaría muy agradecido.