Återbetala moms

Äger en jordbruksfastighet klassad som näringsfastighet och vi har under byggtid dragit av momsen på inköp av byggmaterial.  Eller kvittat mot inkomst om man ska vara korrekt.  Jag driver en enskild verksamhet med kontor på gården och kommer att hyra ut en lägenhet i stallbyggnaden framöver. Jag har fått höra att om jag hyr ut till en privatperson så måste jag återbetala all moms vi fått tillbaka under byggtiden. Stämmer verkligen det? Det skulle dock kunna gå att hyra ut till annat företag utan problem alternativ som korttidsboende eller semesterbostad.  Jag har F-skatt och registrerad verksamhet med kod "stuguthyrning" bland annat. Vilket är smartast att göra nu när jag vill få gården att bära sig själv framöver? Jag har redan flera privatpersoner som är intresserade av att hyra.  Vi bor själva på gården i ett privat hus som ej omfattas av verksamheten. 

Andra tips och idéer mottages tacksamt!