¿Olivos en el Norte?

Este otoño quiero empezar a cultivar un minijardín (unos 40 metros
cuadrados) orientado al oeste, que recibe sol desde mediodía, distante
de la costa gallega unos 20 km. y protegido por dos muros a este y
oeste y dos cierres de brezo al norte y al sur. Me gustaría tener un
conjunto que esté bonito las cuatro estaciones, y al que se le puedan
añadir en primavera flores de temporada. He pensado también en un
pequeño estanque para una tortuga que ya no cabe en su pecera; y, a pesar de no ser flora autóctona, se me antojan mucho un olivo, un ciprés o una yucca, porque ya los he visto en jardines de mi zona y parece irles bien. ¿Qué cuidados necesitan?

Vivo en la costa asturiana y cuando era pequeña recuerdo que en la casa en la que vivía había un olivo. Soy consciente de que mis padres nunca le dieron cuidados especiales, es más, creo que jamás miraron para él. La verdad es que estaba precioso.
Eso sí, si te decides cómpratelo grandecito porque tarda muchísimo en crecer y lo de dar aceitunas... creo que resultará difícil.
Un saludo y suerte.