Здесь возможны варианты. В «Справочнике по правописанию, произношению, литературному редактированию» (Розенталь Д.  Э., Джанджакова Е. В., Кабанова Н. П.) указано: «Названия озер, заливов, проливов, каналов, бухт, островов, полуостровов, гор, горных хребтов, пустынь и т. п., как правило, не согласуются с родовыми наименованиями». Но с названиями-прилагательными ситуация немного иная. Справочник говорит: «Названия, имеющие форму полного прилагательного, обычно согласуются: у горы Магнитной, на озере Ладожском. Однако в этом случае наблюдаются колебания».

Таким образом, допустимо: на полуострове Среднем и на полуострове Средний. Географические названия в функции приложения чаще склоняются в художественной речи и остаются несклоняемыми в речи официальной, канцелярской. Окончательное решение — за автором текста.