V této zemi se rychle seznámil se zemětřeseními, která Japonsko velmi často sužují. Proto Letzel začal navrhovat zcela nový typ staveb s užitím nových stavebních materiálů a z pochopitelných důvodů používal zejména beton. Brzy měl tolik nabídek, že si založil vlastní ateliér. Po ukončení 1. světové války se vrátil na čas zpět do vlasti, ale byl velmi nespokojen s vývojem v Československu, a tak se v roce 1922 vrátil zpět do Japonska.
K jeho největší chloubě náležel Průmyslový palác v Hirošimě. Tato třípatrová budova s točitým schodištěm a prosklenou kopulí byla otevřena 5. srpna 1915. Sloužila jako výstavní síň obchodních produktů. Jeho pravděpodobně poslední stavbou v Japonsku je Miyaima Hotel u Hirošimy.
Počátkem 20. let začal architekt Letzel trpět psychickými problémy, které se zhoršovaly. Spouštěčem této nemoci se zřejmě stalo zemětřesení, které za sebou nechalo velkou zkázu. Mnoho jeho staveb bohužel tyto přírodní katastrofy nevydrželo. Zklamaný se proto vrátil do Čech, kde nakonec skončil v sanatoriu pro duševně nemocné v Praze v Kateřinské ulici. Zde také zemřel 26. prosince 1925 a byl pohřben ve svém rodném městě Náchodě.
Český architekt Josef Hlávka byl všechno jiné, než příslušník zlaté mládeže. Boháč, který vše rozdal
Možná by se duševní nemoc nerozvinula, kdyby tušil, že jeho Průmyslový palác v Hirošimě jako jediný přečká zkázu, která toto město postihla 6. srpna 1945, kdy zde americká armáda svrhla atomovou bombu. Stavba stála pouhých 160 metrů od epicentra výbuchu. Po náletu nebyla nikdy opravena a dnes slouží jako památník na tuto válečnou tragédii. Nazývají ji Atomový dóm.
Zajímavostí je, že v roce 2009 byl v Brně objeven zcela náhodně hrob, který slavný architekt sám navrhoval. Letzel je pak samozřejmě i autorem mnoha dalších staveb. O jeho životě byl v roce 1990 natočen hraný film „Rajská zahrada“ a rovněž vzniklo několik dokumentů. Vyšla také kniha „Dopisy z Japonska“.
V září 2016 byly japonskou delegací přivezeny fragmenty z Průmyslového paláce v Hirošimě a následně byly předány členům rodiny Jana Letzela a městu Náchod. Schránka s fragmentem byla také umístěna do nově opravené architektovy hrobky. Je tedy zřejmé, že rodné město na svého slavného rodáka nezapomíná.
