Hlavní hrdina je muž, který zanevřel na svůj malířský talent a šel do Prahy studovat reálné vědy. Malířství se mu však stále zamlouvalo, a tak se zajímal o slavné obrazy v jeho okolí. Jednou za ním přijel přítel z Vídně, který byl profesionální malíř. Ten projevil zájem prohlédnout si pražské obrazy, a proto po tři dny navštěvovali pražské kostely. Jejich cesta za českým malířstvím skončila ve chrámu sv. Mikuláše na Malé straně před obrazem Umírajícího svatého Xaveria od Františka Xavera Balka (1724 – 1767, český malíř a freskař německého původu, představitel malby vrcholného baroka na přechodu k rokoku, umělecké vzdělání získal na Akademii ve Vídni, ovlivnila jej především benátská a boloňská malířská škola, zmíněný). Baví se o tom obrazu, že jeví prvky italské i německé malířské školy a dojdou až k názoru, že o českém malířství se toho v jiných zemích moc neví, a proto chtějí časem vydat sbírku nejlepších českých obrazů v barvotisku. S tím se rozjedou a čas se posouvá dopředu. Přítel z Vídně se mezitím stane učitelem kreslení na Vídeňském dvoře a hlavní hrdina dostudoval a musí se živit, je tedy třeba žurnalistou. Na myšlenku o seznámení světě s českým malířstvím však nezapomíná, a proto se snaží získávat informace o obrazech, neboť se tehdy domluvili, že on dodá text a přítelovi známí zase obrazy překreslí. A tak se jednou opět dostane k Balkovu Svatému Xaveriovi.
"Obraz má vcelku ráz pošmurný, jako by byl malíř světlejších barev užil pouze ku zvýšení dojmu barev temných. Na pustém břehu mořském umírá o samotě muž v černém řeholním oděvu. Pololeže odpočívá na improvizovaném loži, na hrubé rohožce, jsa zády opřeno o skalisko, nad nímž je z hrubých kamenů, prken a jižních travin narychlo sdělán jakýsi druh střechy, mající umírajícího chrániti aspoň před nejprudšími úpaly plamenného slunce indického. Černé řeholí roucho je na prsou poněkud rozhaleno; dolení část těla je pokryta hrubou houní, zpod které je vidět jen obnažené kostnaté nohy zsinalé barvy. V levici drží umírající dřevěný kříž s Kristem, pravice pak v lokti ohnutá visí bez vlády z lože. Hlava jevící druhdy energii a sílu, nyní pak již jen rezignaci a úplné oddání se v neodvratný osud, je poněkud nazad nachýlena; zsinalý, krátkým vousem zarostlý obličej, jehož mocně vyvinuté lícní kosi, hluboko zapadlé oči a vůbec všechny tahy jeví muže druhdy neobyčejně prudkého, vášnivého, ba fanatického, obrácen je k nebesům směrem k moři, jako by se zrak umírajícího stápěl v lesku slunce, jehož žlutavá záplava v pozadí obrazu zasvěcuje, že slunce buď teprve vyjde, anebo že bylo právě zapadlo..." Obraz ho velice zaujme, protože ve výrazu světce vidí něco víc než jen mnišský fanatismus, a proto si sedne do zpovědnice, aby si ho mohl dál prohlížet. Náhle před obraz přijde mladý muž, modlí se a mezitím je oba kostelník zamkne. Hlavní hrdina mladíka tajně pozoruje a uvědomí si, že je velice podobný světci na obrazu. Ten najednou vyskočí na oltář před obrazem a vytáhne z kapsy něco jako nůž. To ho vyleká, neboť to vypadá, že chce obraz zničit, a proto vyskočí ze zpovědnice. Oba si nedůvěřují, ani po té, co mu onen mladík ukáže, že obraz, ne moc zdařile, překresluje a proto si chtěl měřit rozměry. Ven z kostela se dostanou díky tomu, že mladík má klíč od zakristie a ukáže pak hlavnímu hrdinovi, kde bydlí. Po čase se z nich však stanou přátelé, ale o jejich prvním setkání spolu nemluví. Až jednou se přítel zmíní o obraze Svatého Xaveria a vypráví mu, že jeho babička sloužila u samotného Balka a ten se jí těsně před smrtí svěřil, že:
"Obraz umírajícího svatého Xaveria nebyl malován pouze pro oko a pro povznesení mysli zbožných křesťanů. Je v něm více, nežli bývá v obrazech největších mistrů, je v něm cosi, nad čímž by tisícové s pohrdáním krčili ramenoma, z čehož však by přece mohla vzejíti spása miliónům... Kdo dovede třeba po léta dlíti před obrazem tím, kdo upne veškerou svou mysl na obraz,k aby tajemství v obrazu skryté vypátral, a komu se podaří tajemství to vypátrati, nemůže zůstati pro lidstvo bez ceny, neboť duch jeho nebude oné síly a průpravy, jaké je potřebí k obrovskému dílu na prospěch veškerého lidstva. Jedné však věci je především třeba: Vytrvalosti a železné vůle. Kdo těmito obrněn bude před obrazem dlíti, by vypátral tajemství obrazu, tomu svatý Xaverius zjeví neocenitelný poklad." A tak tam jeho babička stále chodila a svou posedlost přenesla i na dceru, která před obrazem stála zejména když byla těhotná, a proto je asi její syn Xaverius tolik podobný světci z obrazu. A i on tam chodí a hledá poklad. Hlavní hrdina se mu však vysměje, že jde jen o blábol jeho babičky. Tím však Xaveria naštve a pár dní spolu nemluví. Jednou k němu ale Xaverius vtrhne a je nadšený, protože sehnal knížku, kde je napsáno o speciálním měření, kde může měřit křivku přímkou a proto bude moci lépe zkoumat obraz Sv. Xaveria. A také m u začal vyprávět, jak to s jeho vztahem k obrazu bylo, protože tam chodil už od mala. Časem dokonce začal pochybovat o Bohu a myslel si, že je to jen rezultující přírodní síla. Ale matce o svém pochybování neřekl a až po její smrti, kdy našel co babičce diktoval Balko o obrazu, našel znovu chuť hledat tajemství obrazu a dlouho tak činil. Začal u toho, kdo obraz nakreslil. Balko o sobě tvrdil, že se minul s cílem života a zajímaly ho i přírodní vědy. Tak dospěl k názoru, že to bude v něčem jiném, než v malbě. Jednou ho pak na noc zamkli v chrámu a z bezprostřední blízkosti našel na obraze několik značek. Pak už se ale setmělo a nemohl dál zkoumat, tak se snažil usnout a náhle uviděl kocoura, který vyskočil na oltář Sv. Xaveria a změnil se v trpaslíka. Potom přišly dvě ženy a trpaslík se jich ptal, jestli poznají blázna, i kdyby to byl jejich syn a vnuk. A v tu chvíli Xaverius poznal svou matku, babičku a v trpaslíkovi Balka. Pak zjistil, že to byl jen sen. Nemohl však už usnout a v měsíčním svitu mu chrám připadal strašlivý a pochopi ten strach z Boha, co znají prostí lidé. Ráno se konečně dostal ven, ale následkem byla dlouhá horečka. Bylo mu však jasné, že je zapotřebí dál studovat obraz pečlivě a zblízka, proto se asi ¼ roku snažil získat důvěru kostelníka. Tvrdil mu, že si chce obraz překreslit, ale stydí se. Kostelník mu potom dal klíč a Xaverius tedy mohl studovat dál. Celkem našel na obrazu 37 bodů a výchozí určil bod na světcově čele. Když potom všechny body spojil, získal lomenou čáru a zbývalo zjistit, kde je výchozí bod ve skutečnosti. Zprvu myslel, že v kostele, ale obraz mohl být přenesen, a proto hledal dál. Vzal si plán Prahy, který připomínal polygon, sestavil těžiště a to bylo přesně v domě, kde dřív Balko bydlel a došel tam k nápadu nakreslit obraz sv. Xaveria. Sehnal si pak staré plány města a postupně na ně přikládal svou mapu z obrazu a u jednoho se cesty překryly, takže poklad by měl být ve Strahovských lomech u vinice Malvazinka. Navíc to tam už byl obhlédnout a hned po prvním kopnutí do země objevil drahé kameny. A tak se tam hned tu noc pod rouškou tmy, aby je nikdo neviděl, vydají. Opatrně se přesunou až do rokle, kam to dopoledne Xaverius donesl tajně motyku a lopatu a když analogicky určil střed rokle, zjistil, že je tam půda sypká, ale jinde je pevnější. Opatrně se pouštějí do kopání, aby neodhodili kus pokladu, do bezcenné hlíny. Dokopou se až ke starému rumu z cihel a malty, ale ani po hodině, kdy už jsou unavení, nic neobjevili. Naštěstí pak najdou smaragd, a tak to nevzdávají a s novým elánem se pouštějí do práce. Objeví však už jen malachitovou rudu a realgar, ale to nemá valnou hodnotu. Pak zajde měsíc, tak rozžhnou svítilnu a dál pracují, byť pomaleji, aby mohli lépe kontrolovat vykopanou hlínu. A po chvíli objeví rubín. Xaveriovo vzrušení je již téměř hmatatelné. Náhle se motyka dostane na kov a je to patrně zlato a navíc pak objeví malou, silně zrezivělou krabičku. Xaverius pak ale převrhne lucernu a měsíc zajde za mraky, tak nic nevidí. Rozsvěcí je tedy sirkou, ale hořící hlavička spadne a zapálí suchou trávu a od té vzplane celá rokle v kruhu kolem Xaveria. Rudá záře se náhle mění v zažloutlý oheň a přítel je jako v transu. V ohni navíc spatří přízrak svatého Xaveria, kterak mu hrozí a vyzývá ho k útěku. Proto se najednou Xaverius rozběhne pryč... Opět vyhází měsíc, žlutá záře mizí, oheň uhasíná a vše je jako dřív, až na spálenou rokli a sirnatý pach všude kolem. Hlavní hrdina pak běží za Xaveriem, ale ten se mu ztratí u Židovského hřbitova a sezná, že by ho ani nedohonil, protože měl velký náskok. A tak se vydal duševně i tělesně unavený domů, ale nemůže usnout... Děj se pak posouvá o tři roky dopředu. Xaveria od oné osudné noci neviděl a nezůstali po něm žádné stopy. Snažil se ho najít, ale prý se už v práci neukázal a pro jeho věci přijeli do bytu nějací neznámí muži a vše odvezli. A tak si myslí, že asi s pokladem odjel, aby nemusel nikomu vyplácet peníze. Ale i tak mu bylo divné, že zmizel jen tak. Mezitím se však stal žurnalistou, v Čechách nastal v roce 1868 "Výjimečný stav" a místodržícím byl generál. Co by žurnalista to dotáhl na zodpovědného redaktora opozičního politického deníku. S kolegy napáchal plno prohřešků proti režimu, ale nakonec (ač by čekal doživotí) byl odsouzen jen na 4 měsíce a i když se jeho právníci snažili, musel v novoměstské trestnici nastoupit. Pak byl ale dvakrát prohlášen za nevinného, nevěděli jak s tím naložit, a proto to přeložili k Vídeňskému soudu. A tak byl s CK zřízencem pražské věznice převezen do Vídně. Než ho tam odvezli, napsal ještě svému příteli malíři, se kterým chtěli vydat brožuru o českém malířství, že kdyby ho v amnestii pustili, tak se zastaví a projdou vídeňské obrazy. Dostane se k němu i na pár hodin před nastoupením do věznice. Baví se o projektu, ale shodnou se, že to teď nejde realizovat, protože Vídeň se na bouřící se Čechy zlobí a bez jejich snahy to také nemá cenu. Přítel mu ale ještě řekne, že než se budou později, až bude klidnější doba, pořizovat kopie, chce si napřed překreslit obraz Svatého Xaveria. Když to hlavní hrdina slyší, je překvapen a vypoví mu celý příběh, který díky tomuto obrazu prožil. Přítel mu plno otázek, ale než je stihne zodpovědět, musí se odebrat do vězení. A tak se domluví, že se sejdou, až ho za pár dní pustí, což by nemělo dlouho trvat. V kriminále se nemá špatně, je tam plno českých dozorců, tak má s kým promluvit a co by politický vězeň smí i číst noviny a procházet se, jak se mu zachce. A tak jednou při procházce uvidí na zemi ležet vychrtlého muže, který nic nevnímá, jen si rukou kreslí nějakou figuru. A v něm pozná Xaveria. I on ho pozná a vypráví mu, že má být teď sedm let vězněn a už byl přes rok ve vyšetřovací vazbě pro zločin sprosté krádeže, kterou ale neudělal. Naštěstí se k němu ve věznici nechovali špatně, ovšem i tak je patrné, že umírá a čeká na smrt velice klidně. Nevěděl jak ho utěšit a velice se obdivoval jeho duchu, který s klidem očekával zánik těla, se kterým zmizí i on. Začne mu aspoň vyprávět, co za dobu, kdy se neviděli, prožil a myslí si, že Xaveria obvinili, protože u něj našli drahokamy a on nemohl vysvětlit, kde k nim přišel. Ale není to pravda. Vypráví mu, že když byli spolu pro poklad, tak byl už z namáhavé duševní práce na pokraji šílenství a proto spatřil v plamenech přelud sv. Xaveria a zbaven smyslů utíkal pryč, až padl vysílen u zdi smíchovského židovského hřbitova a tam se po pár hodinách spánku probudil a zjistil, že nenašli zlato, jen sirník železitý. Ovšem rubín i smaragd byly pravé. Pak se začal zabývat krabičkou. Ale v té byly jen méně cenné kameny, jako chalcedony, jaspisy, opály, topasy, granáty, chryzolity a dokonce i několik odrůd uhlí. A tak, místo nedocenitelného pokladu, našel jen sbírku minerálů tak v ceně 300 zlatých. Ale to nebyl onen poklad, o kterém Balko mluvil. Minerály se tam dostaly jen náhodou s rumem, který tam byl později navezen. Proto byla krabička v tak špatném stavu, když utíkal, dokonce i pár kamenů vypadlo. Kdyby bylo světlo, jistě by si toho byli všimli už na místě. Žluté zbarvení ohně se pak objevilo proto, že když kopali, odhodili do trávy kusy realgaru a ty pak také vzplanuly. A tak došel k názoru, že poklad je jinde. A nebýt ve vězení, jistě by se pustil do hledání znovu. Ale je si jistý, že cesta byla správně až po Oujezdskou bránu. Pak ho ale napadlo, že třeba Balko mluvil jen obrazně a měl jen povzbudit člověka k hlubokému trvalému přemýšlení, ke kombinaci, která i kdyby byla mylná, měla zvýšit bystrost a pozvednout ducha. Xaverius pak našel v jedné modlitební knížce po babičce koncept Balkova dopisu příteli v italštině. V něm se psalo o nějakém Eleazarovi, se kterým se Balko setkal, a jenž svým příkladem i slovy názory Balka podkopal a to nezůstalo bez vlivu na malířova ducha. Začal více přemýšlet a došel k názoru, že celý svět jej zkažený, opovrhuje zásluhami, nadáním, duchem a ctnostmi a to jen proto, že lidé málo přemýšlí a předávají si z generace na generaci to samé. Lidstvo proto nepostupuje vpřed. Tak došel k názoru, že se neměl stát malířem, ale vědcem. Jenže mu doba nebyla pro vědu nakloněna a stejně by to svět nezlepšilo, pomohlo by to jen jeho duchu – okolí by se k němu chovalo stejně. Všude kolem je tedy prázdno a pustota. A tak ho napadlo, že člověk může částečně dosáhnout štěstí neoblomnou skálopevnou myšlenkou, byť sebeklamnější a snažil se myšlenku vtělit do obrazu sv. Xaveria. Balko to psal před více než sto lety, ale i přes všechny pokroky je lidstvo stále stejné, slabé a zkažené. V beznaději může člověk najít útěchu v myšlence. A tak Xaverius doufá, že to tak nebude věčně a přijde osvícení, osvěta ryzí lidskosti. Když mu přítel vše vypoví, jako by byl jeho duch zlomen a pomalu se chystá zpátky do své cely, upadajíc v agonii ducha. Jen mu ještě vysvětlí, proč byl vězněn: Po zklamání z pokladu utekl do Vídně – styděl se před světem i přítelem, že mu šlo o bohatství v podobě peněz a tak. V té době se ale ztratily drahokamy z relikvie na oltáři sv. Xaveria ve svatomikulášském chrámu. A kostelník musel říct, že Xaverius měl klíče a i když se zaručoval, že on to určitě neudělal, zatkli ho, hlavně proto, že tak náhle utekl do Vídně. Byl v té době tak psychicky mimo, že se ani nedovedl obhajovat a říct kde v době krádeže byl, takže ho odsoudili. Navíc je kvůli tomu obrazu i těžce nemocen, protož od noci, co klesl u zdi židovského hřbitova rozechvěn a se zimnicí, už ho to neopustilo. Hlavní hrdina se ho pak ptá, kdy se ta krádež stala a jestli si opravdu nepamatuje, co tu noc dělal. Xaverius neví, ale on naštěstí ano, protože právě v té době kopali poklad. Má to pečlivě zapsané a říkal to i přátelům, takže má důkazy o jeho nevině. Pak se rozloučí a on hned začne pracovat na Xaveriovu propuštění. Po čtyřech dnech je sám osvobozen amnestií a odchází z věznice. Při tom ještě uvidí na dvoře u besídky pololeže Xaveria. Ten zrovna vede zápas se smrtí a náhle v něm vidí přesnou podobu Balkova sv. Xaveria. Nemůže se s ním však již rozloučit, protože tam nemá, co by svobodný člověk, přístup, a tak aspoň poprosí žalářníka, aby posílal jeho příteli malíři zprávy, kdyby se Xaveriovi něco stalo. On sám hned jede za ním, jak slíbil, ale tam ho čeká nemilé překvapení – zrovna došel telegram, že pár minut po jeho odchodu Xaverius zemřel. Hlavní hrdina se hned vydává s hlubokým smutkem zpátky do Prahy, aniž by se nechal provést po vídeňských obrazech. Od smrti Xaveria uplynuly asi tři roky a on nemohl na Balkův obraz ani pohlédnout – měl z něj bázeň a úzkost. A když se jednou náhodou na obraz podíval, probudilo se v něm tisíce pocitů, hodil po něm nůž a bylo mu jasné, že už nikdy nesmí spatřit obraz, který zapříčinil muka a smrt muži, jež byl geniálnější než sám Balko...