A comienzos del segundo milenio, en el siglo XI, Esabierre, nombre vasco que significa casa nueva, era una torre defensiva aislada, situada en el límite entre los reinos de Navarra y de Aragón. El infante Fernando de Aragón entregó la villa y la fortaleza al rey de Navarra Sancho VII el Fuerte en 1223 como garantía de un préstamo que no devolvió, por lo que Javier se incorporó definitivamente al reino de Navarra.
Su sucesor, Teobaldo I encomendó la fortaleza a Adán de Sada en 1236, de cuyo linaje pasó posteriormente a los Azpilicueta y a los Jasso.
El 7 de abril de 1506 nació en él Francisco de Javier. Poco después, tras la conquista de Navarra a mano de las tropas castellana, fueron derruidas las partes defensivas del conjunto y quedó convertido en un simple caserón. En los últimos 120 años ha regristrado tres procesos de restauración, el último de los cuales, ejecutado en vísperas del Quinto Centenario, deja a la vista las partes esenciales del edificio medieval.
En el siglo XI, el castillo constaba exclusivamente de una alta torre, -torre de San Miguel- construida con piedras ciclópeas que la hacían inexpugnable. En los siglos siguientes se le añadieron nuevas torres: torre del Cristo al oeste, torre de Undués al este- y recintos almenados.A finales del siglo XV se le adosó el Palacio Nuevo – lugar en que nació Javier- actualmente ocupado por la basílica levantada a comienzos del siglo XX.
El acceso al castillo se realiza a través de tres puertas consecutivas; las dos primeras corresponden a dos murallas y la tercera, sobre la que lucen los escudos familiares de Javier, traspasa el muro de la propia fortaleza y conduce al patio del castillo. Este patio tiene forma curva y presenta, en su espacio central, un pozo, del que se abastecían de agua los moradores del castillo. En el fondo del mismo se encuentran las escaleras de acceso al interior del edificio.
La capilla del Cristo ocupa el interior de la torre del mismo nombre y está presidida por una impresionante talla del Crucificado, de madera policromada, realizada en el siglo XV. Fue el oratorio del castillo en tiempos de Javier. El Cristo presenta una sonrisa enigmática que simboliza su triunfo sobre la muerte, representada en la pintura mural, la Danza de la Muerte, ilustrada por los esqueletos que bailan sobre ataudes.
Como el Cristo, este conjunto mural procede del siglo XV. La leyenda atribuye a este Cristo el milagro de sudar sangre en el mismo momento en que Javier moría en Sancian, a 16.000 kilómetros de distancia, el 3 de diciembre de 1552.
La sala grande es la más confortable que ofrecía el castillo, por su orientación al sur, sus grandes ventanales y el fuego de su hogar. Por ello era el escenario de la vida familiar. En ella se exhiben muebles y otros objetos de época propios del castillo o aportados por donaciones.
El castillo de Javier ofrece un conjunto de piezas artísticas de gran interés relacionadas con la vida y la obra de Francisco de Javier, entre las que cabe destacar las siguientes: