In 1918 presenteert Berlage zijn schetsen voor een gigantisch gebouw met woon- en tentoonstellingsruimtes. De centrale hal zou meer dan twaalf meter hoog worden met een kristalvormig plafond van gekleurd glas. Er is een zitkamer voor mijnheer en één voor mevrouw, een eetkamer en een woonkamer, allemaal door een enkele deur verbonden met de grote hal en de Van Goghzaal.

Maar het ontwerp wordt niet uitgevoerd. Op 1 september 1919 beëindigt Berlage zijn contract bij de firma. De verhouding tussen hem en Helene is steeds meer onder druk komen te staan en Berlage is haar bemoeienis bij zijn ontwerpen beu geworden. Zelf schrijft ze in 1921 aan haar zoon Bob: ‘Voor mij was hij altijd de kleine man, de chagrijnige mensch, het leelijk onaangenaam karakter, maar – de groote kunstenaar!’

Berlages opvolger wordt de Belgische architect Henry van de Velde. Hij krijgt per 1 februari 1920 een tweejarig dienstverband als huisarchitect van de Kröllers. In het najaar presenteert hij de eerste tekeningen voor het ‘Groote Museum’. ‘Sam, het museum wordt mooi!’, schrijft Helene aan haar vriend, ‘Je zult verbaasd zijn, als je de plannen ziet. Zij overtreffen ver, ver mijn verwachtingen & ik geloof ver alles, wat tot nog toe in die richting is gebouwd of ontworpen’.

In 1921 wordt aan de voet van de Franse Berg in Hoenderloo begonnen met de bouw: er wordt zelfs een spoorlijn aangelegd om op maat gezaagde blokken Maulbronner zandsteen vanuit Duitsland naar de Veluwe te vervoeren.

Müller & Co heeft tijdens de Eerste Wereldoorlog, waarin er veel vraag is naar ijzer en kolen, goede zaken gedaan. Maar sindsdien is de handel gestagneerd. Onder leiding van Anton bouwt het bedrijf in korte tijd veel schulden op en komt daardoor in ernstige financiële problemen. In 1922 zet hij noodgedwongen de bouw van het museum stop, en Helene laat Bremmer weten dat er geen kunstwerken meer kunnen worden gekocht. Ze schrijft aan Sam: ‘Als ik tegenwoordig langs de plek van het museum kom, heb ik het gevoel, als bij een open graf, dat op zijn doode wacht. […] Ik kan het soms nog niet gelooven, dat het er niet zal komen. Ik wacht altijd nog als op een wonder’.

Helene vraagt Van de Velde dan ook om zijn ontwerp verder uit te werken. In 1926 levert hij een pakket van 1.000 schetsen, tekeningen en beschrijvingen.

Ondanks de tegenslag werkt Helene door aan hun ‘cultuurpark’, dat inmiddels volledig is omheind. Helene werkt met Henry van de Velde aan de ontwikkeling van een ‘museumpark’ bij de Franse berg, waarvoor ze de oude padenstructuur laat uitbreiden en rododendrons laat planten. John Rädecker krijgt opdracht om een aantal beelden te maken en met Van de Velde spreekt ze over nieuwe monumenten. Ook plaatst ze een 17de-eeuws beeld van Rombout Verhulst en twee Boeddhabeelden in de tuin. Langzaam ontstaat een parkachtige omgeving, bedoeld als natuurlijke entree voor het beoogde 'Groote Museum'.