Fertőrákost a középkorban mint  birtokközpontot még úgy kell elképzelnünk, mint egy tanyát: középpontban a birtokos házával, körülötte pedig a szolgálókéval.

Leginkább Sopron városa próbálkozott a birtok és a hozzá tartozó kikötői vám megszerzésével, ennek során a soproniak 1311-ben lerombolták a püspöki-kastélyt, amiért 100 márka kártérítés megfizetésére kötelezték a szomszédos várost. A kastély 1318-ban már újra lakható volt, hiszen Miklós püspök innen keltezett levelet küldött Kismartonba. Körülbelül ebben az időben épülhetett ki -védelmi okokból- várrá a püspökség, hiszen az 1360-as évek végén több alkalommal is a rákosi várnagy megnevezés szerepel az oklevelekben.

A várfal maradványai még ma is láthatóak a faluban.