初由吳周蔡三姓先賢，於前光緒五年，及公元1879年，聯合組織肇姬公所於三藩市，以三姓宗親，同肇源於姬周太王，一脈相傳，誼屬兄弟之情之意。並於1907年，用該名義，向加州政府註冊為正式社團。

民國16年，（1927）全美宗彥，有見及此，感非重新整頓族物，加強組織，實等同名存實亡，有遺立會之意旨，乃決定召開第一屆全美公所懇親大會於三藩市之創舉，此次大會，曲斷然手段，大刀闊斧，整頓族物，通過將當時之至德堂、三德堂兩堂合併，兩存其名，改稱為至德三德總公所，將堂字改為所字，其於各姓所立之房或堂，均一律停辦，俾能統一事權。