Im Jahr 1777 wurde auf nachdrücklichen Wunsch der Bevölkerung in Vogt eine Kaplaneistelle errichtet. Diese Entscheidung hatte große Bedeutung für die Entwicklung der Ortschaft. Bereits ein Jahr später begann der Bauer Josef Diem in dem Haus gleich oberhalb des jetzigen Gasthauses (Mozartstraße 10) eine Schankwirtschaft zu führen. Diem hatte erkannt, daß von einer Kirche auch ein Gasthof profitieren kann, zumal bei einer so zerstreuten Gemeinde wie der Vogter. Der Kirchgang bot die Gelegenheit sich zu treffen, Neuigkeiten auszutauschen und Geschäfte anzubahnen und so war der Kirchgang fortan stets mit dem anschließenden Besuch des Wirtshauses verbunden.
Der Gasthof florierte: 1801 bestimmen die Vorsteher des Amtes Boschen, die bislang im Haus des Amanns getagt hatten, das Diemsche Wirtshaus zu ihrem Tagungslokal. Diem begann, auch Speisen und Übernachtungsmöglichkeiten anzubieten, bewirtete große Gesellschaften bei Kindstaufen oder Totenmählern und hatte sogar Tanzveranstaltungen im Programm. Damit verstieß er allerdings gegen das Gesetz, denn seine Konzession deckte lediglich den Bier- und Branntweinausschank ab. Und er hatte einen Konkurrenten; Franz Josef Kehle, der dieses den Behörden anzeigte. Franz Kehles Alt-Amann des Amtes Boschen, führte in Blöden, fünf Minuten von Vogt entfernt, eine voll konzessionierte Schildwirtschaft. Kehle sah durch die Vogter Konkurrenz die Existenz seines eigenen Hauses gefährdet und zeigte Diem beim Oberamt, das für die Aufsicht zuständig war, an. Das Ganze mündete in einem Rechtsstreit, in dessen Verlauf Diem auch beschuldigt wurde, seine Gäste während der Gottesdienstzeiten und in der Nacht zu bewirten. Er soll “mit bösem Beispiel im Trinken” vorangegangen sein.