Narodil se na Madagaskaru, což v té době byla francouzská kolonie, v rodině koloniálního důstojníka. Dětství prožil v jihofrancouzském Perpignanu, později studoval v Oxfordu a Cambridge. Jako dobrovolník se na straně republikánů účastnil španělské občanské války (jeho starobylá rodina měla původ právě v kraji na hranicích Francie a Španělska). Po válce se živil vinařstvím a maloval (malířství studoval), postupně se přiklonil k literatuře. Od roku 1963 se živil jako spisovatel. Do konce života však psával výtvarné kritiky a anotace. Text Vlasy Bereniky je přímým odkazem k obrazu surrealistickéhokatalánského malíře Joana Miróa.