赵损生年和出生地失载。他来自显赫的官宦家庭，祖父赵隐为晚唐皇帝唐宣宗年间宰相，父
赵光裔、伯父
赵光逢、叔父
赵光胤都是唐末乃至取代唐朝的后梁的朝廷官员。赵损为赵光裔长子。
开平二年（908年），后梁皇帝朱全忠派赵光裔和右补阙李殷衡充正副官告使，出使控制清海军且名义附庸于梁的军阀刘隐，授其清海军和静海军节度使。赵光裔和李殷衡到清海军完成授官仪式后，刘隐将他们留在自己的幕府，没有送他们回梁。贞明三年（917年），刘隐的弟弟和继任者刘䶮称大越皇帝（不久改国号汉，故史称南汉）。他任李殷衡、赵光裔和杨洞潜为宰相，授同中书门下平章事。
赵光裔虽然官至南汉宰相，但自知出自显赫的中原官宦之家，以效力割据政权为耻，长期想着重返中原。刘䶮得知，想安抚他，于是模仿他的笔迹写了封家书，派人潜入洛阳，赵损及其二弟赵益接到“家书”后，即携带家眷前来南汉。赵光裔为他们的到来而惊喜，自此之后便尽心尽职于刘䶮。