Ольсен провел два года на Уайт Харт Лейн, однако за первую команду так ни разу и не сыграл. Его контракт истекает в конце сезона и нападающий принял условия Валенсии. Отец 19-летнего футболиста Даг Эрланд Ольсен сообщил, что испанский клуб давно интересуется его сыном.

"Его контракт с Тоттенхэмом истекает летом, а когда Валенсия предложила нам соглашение на 4.5 года, легко было согласиться," заявил Ольсен-старший. "Он многому научился в академии и хорошо прогрессировал, но в Тоттенхэме сменилось несколько тренеров, так что время было не лучшим для молодого иностранца."