家父杜月笙在世的時候，北方的很多事情，都讓吳家元去辦，是去北京找張家、吳家、還有朱家。當時，他們都是北方不可一世的大家族—有錢、有權、有勢力。這三家的情況，特別是吳家和朱家，與我父親一樣，很多都是傳說，流傳在民間、口頭，講得津津樂道也神乎其神的，但就是看不到專門研究他們的書籍。
張家就是奉系軍閥張作霖、張學良父子及家族。吳家是吳俊升、吳泰勳（吳幼權）父子及家族，是張作霖重要的嫡系；吳家起家於東北，後來就到了北京。東北冬天很冷，家家有熱炕，傳說吳家炕下是用金磚鋪的，可想而知吳家有錢的程度。朱家就是朱啟鈐及他的公子、女兒們；朱家是官宦世家，朱家的幾位小姐很有名，其中四位小姐都與張家有關聯。這京城的張、吳、朱三大家在一起，就好像上海的杜月笙、黃金榮、張嘯林一樣，親如兄弟。我父親與北方這三大家關係非常好。