В 1323г крепость представляла собой деревянный форт-укрепление, возведенный Юрием Даниловичем, внуком Александра Невского. Уже на тот момент крепость получила название Орешек. Крепость была обнесена каменным забором 3-х метровой высоты и имела размеры 100*90 метров, формой напоминала треугольник. При строительстве были учтены особенности местности, поэтому стены шли изгибом по форме острова. Стены самой Крепости состояли из валунов и известковых плит, протяженность стен была — 351 метр, в верхней части стен располагались квадратные бойницы. Фундамент укладывался тремя рядами валунов на глиняной основе. Поначалу сам форт отделялся от пригорода 3-х метровым каналом, который впоследствии засыпали. В дальнейшем и пригород был так же обнесен высоким забором и застроен одноэтажными жилыми домами, где ютились воины, земледельцы, купцы и ремесленники. Крепость, занимающая всю территорию острова, в плане имеет форму неправильного треугольника, вытянутого с востока на запад. По периметру крепостных стен расположены пять башен. Из них одна — Воротная — четырёхугольная, остальные — круглые. Внутри крепости, в северо-восточном её углу, возвышается цитадель.
