După unele documente păstrate, hanul ar data încă din secolul al XVIII-lea, când se pare că și-a deschis porțile pentru negustorii aflați în trecere spre Roman, Suceava sau spre Iași. Pe atunci, Hanu Ancuței se află în marginea unui sat care s-a strămutat apoi pe moșia boierilor Catargi.
In 1819, vornicul Ștefan Catargiu, proprietarul moșiei Tupilați, obține hrisov pentru înființarea de târguri și iarmaroace. Cum hanul se află la o încrucișare de mari drumuri comerciale – drumul Siretului și drumul care legă Iașul de Piatră Neamț sau Târgu Neamț prin Tupilați – se construiește un han nou, ce va servi și că stație de poștă.
Se pare că numele orașului a fost preluat de la numele voievodului Roman I Mușat (1392-1394), considerat de unii cercetători că fiind întemeietorul acestuia, deși existau probe materiale care să ateste existența curții de la Român incă de pe vremea lui Petru I Musatinul.
Într-un document din anul 1876, care cuprindea un inventar al moșiei Tupilați, era trecut și „rateșu de la Ancuța”. Hanul era zidit pe temelie de piatră, avea o lungime de 36, 20 metri și o lățime de 15,70 metri, iar zidurile sale de cărămidă erau de 70 cm grosime. Hanul avea două porți din lemn de stejar, una prin care intrau carele și alta prin care ieșeau. Porțile din stejar tare erau ferecate cu zăvoare duble și drugi masivi de fier, iar ferestrele erau mici și zăbrelite. Carele erau așezate lângă poarta de ieșire, având lângă clădirea hanului un loc pentru depozitarea nutrețului.
Clădirea avea o fațadă simplă, cu arhitectură de pilaștri, iar intrarea beneficia de o arcadă dublă, încununată de un fronton clasic. Hanul dispunea de patru odăi pentru musafiri, o odaie pentru crâșmari, una pentru hangiu, două camere de odihnă și grajdul. În partea din dreapta erau camerele de dormit pentru călători, cu intrări separate, iar în stânga erau cârciuma, birtul și locuința hangiului. Sub cârciumă se afla intrarea în pivnița boltită, construită din piatră de râu și având lungime de 11 metri și lățime de 4 metri. Sala comună sau birtul, cu mese lungi, era pentru mâncare, taifas și adesea pentru chef cu lăutar
Imaginea hanului este frumos surprinsă de către Mihail Sadoveanu: “Trebuie să știți dumneavoastră că hanul acela al Ancuței nu era han, – era cetate. Avea niște ziduri groase de ici până colo, și niște porți ferecate cum n-am mai văzut de zilele mele. Pe lângă adăpost, hanul oferea oamenilor și prilej de petrecere. În cuprinsul lui puteai oploși oameni, vite și căruțe și nici habar nu aveau din partea hoților… Porțile stăteau deschise că la Domnie. Și prin ele, în zilele de toamnă, puteai vedea valea Moldovei cât bătea ochiul și pâclele munților pe păduri de brad până la Ceahlău și Halauca. Iar după ce se cufundă soarele înspre tărâmul celălalt și toate ale depărtării se ștergeau și lunecau în tainice neguri, – focurile luminau zidurile de piatră, gurile negre ale ușilor și ferestrelor zebrelite. Contenea câte un răstimp viersul lăutarilor, și porneau poveștile…”
Această clădire a dăinuit multă vreme până când, prin anul 1943, proprietarul a dărâmat-o, rămânând doar leagănul unor minunate povestiri sadoveniene. Cu zidurile în ruină, a vegheat întinderile pustii până acum două decenii și jumătate, când a redevenit locul de popas atât de vestit odinioară, dar cu alte povestiri și alți eroi trăitori în acele vremuri. Amenajat cu tot specificul unui interior de epocă, Hanu Ancuței se întipărește puternic în amintirea vizitatorilor săi, cărora le oferă ospitalitate.
În fiecare an, în luna noiembrie, are loc aici Festivalul de Creație Literară „Mihail Sadoveanu”. În prezent, hanul se află în proprietatea societății Turoag Roman SA.
