自由党は、交友俱楽部とは別の意味で単純ではない。同志研究会を結成した議員達、交友倶楽部を結成した議院達の大部分などを除く、立憲政友会の離党者達による新勢力であり、政党であったとは言い難い。自由党の中心となったのは、立憲政友会を離党した、土佐派であった。土佐派はかつて、政界縦断的な動きにおいて、中心的な役割を果たしたことがあった。しかし、その中心は完全に星亨となり、板垣の入閣以後（それも短期に終わり）、独自に成果を上げることができず、振るわなくなかった。彼らは同志研究会を結成した議員達と同じく、伊藤の独断による桂との合意に反発し、立憲政友会を離れた。しかし同志研究会と大きく異なっていたのは、実際は薩長閥との妥協に反対していたのではなく、自派の影響力が失われたことに不満を持っていたに過ぎないことである（第９回総選挙後に、自由党が吏党系の帝国党と合流したことが、最も良くそれを示している）。立憲政友会からの離党についても、状況を見ていたことから、同志研究会を結成した議員達より遅かった。
土佐派の、憲政本党と組もうとする動きが、第１次桂内閣の意を汲んだ、憲政本党内の民党連携妨害工作と一致するものであったのかは分からない。第１次桂内閣（山県－桂系）の支援に期待した同派が、それを満足できるほど得られなかったために、あるいはその進展を待つことなく、動いたという可能性もある。そうであれば、野党的な動きになる可能性もあった。しかしどうであれ、第１次桂内閣（山県－桂系）にとって都合の良いものであったはずだ。立憲政友会に不満を持って離党した土佐派が、直ちに同党と結ぶことは考えにくく、土佐派が憲政本党と組むことは、２大政党が組むことの妨げになるはずで、同時に、優位にあった立憲政友会から劣位にあった憲政本党に議員やその基盤が移ることは、１党が突出して力を持つ（その力を維持する）ことにたいして、多少なりとも障害になるからだ。第１次桂内閣にとっては、立憲政友会か、憲政本党＋土佐派等のどちらかと組み、自らを支持する吏党等と合わせて、衆議院における支持基盤とすることが、以前よりは容易になった。当時、憲政本党には反立憲政友会、親山県－桂系の議員達が多くいたから、土佐派の動きは、野党の最大勢力であった立憲政友会を除いた、内閣寄りの多数派形成に、充分なり得たと言える。
１２月１５日付の萬朝報は、林有造が政府党の組織を条件として、桂、大浦と交渉して運動費を得たとしている。板垣、大井の新党構想を政府党とする報道も、少なくない。また犬養毅は、（自由党になる）土佐派の新党を御用党だとした（『犬養木堂書簡集』７４頁）。立憲政友会に不満を持っていた自由党の参加者たちが、同党執行部の採った、２大政党連携への回帰に否定的であったことは、不思議なことではない。それにより少なくとも、２大政党の連携強化に手を焼く第１次桂内閣と同様の志向を持ったという面はあるはずだ。土佐派が自ら主導して、山県－桂系との新たな政界縦断を実現させることで、影響力を回復しようとしていたとしても、やはり不思議ではない。そうであれば、それは以前の、薩摩閥と大井系の接近に近い面もある（第２章１党優位の傾向（③⑥⑦）参照）。だからこの点でも、大井憲太郎の影響もあったのかも知れない。
土佐派の衰退には、板垣の政界引退も当然影響していた。星亨が殺害されると、立憲政友会の中に、板垣を同党の副総裁にしようとする動きが起こった（１９０１年６月２８日付東京朝日新聞）。また板垣は、党の総務委員を全廃し、顧問数若干名を置き、顧問が院内総務や政務調査部長となり、政権を得た場合に大臣になるなどの、党の組織改革を提案した（７月１７日付大阪朝日新聞）。これらのことは、自由党出身者などの一部、特に土佐派が、板垣を要職に就け、伊藤の独裁に近い体制を変えようとしたのだと言える。もちろん、立憲政友会の主導権を握る（自由党系における主導権を奪還する）という狙いがあった。これが容れられなかったため、土佐派等は、以前の自由党の再興を、模索するようになったのである。右とか左とかいうことよりも、反発による動き、復権を狙う動きであった。党内で主流から外れているよりも、党外に、連携（→合流）する対象を求めたのだと言うこともできる。桂・伊藤合意による立憲政友会の動揺は、彼らにとって絶好の機会であった。土佐派は、まず同党の他の離党者達と、新党を結成しようとした。少しでも強い影響力を持つためには、政党という比較的強固なかたまりを、なるべく多くの議員でつくる必要があったのである。しかし反薩長閥政府であった、同志研究会に参加する議員達とは志向が異なっていた。残りの、第１次桂内閣寄りの離党者や、中立的な離党者とは、そのような明確な差異はなかった。それでも、土佐派とそれ以外の間には、自由党系に属していた時からの対抗意識、あるいは政権を握ろうとする者達と、必ずしもそうではない者達（自由党出身者には少なかったと考えられる）との、志向の違いはあった。１２月１日付の東京朝日新聞は、林が語ったことを報じているが、その中に、当初発起人に石塚（重平。第８回総選挙では落選したが、この前後長野県内選出衆議院議員）、小田（貫一。広島県内選出衆議院議員）、石坂（昌孝。元東京府内選出衆議院議員）らの名があったことについて、関東派に異議があったために取り消して、林一人の案内で会合を催したという話が含まれている。また板垣が、自ら取り組んでいる社会改良に影響が出ることから、公然と新党に関係することはせず、裏面において助力を与え、遊説も辞さないとしていること、渡辺については、失敗を覚悟して新党に参加する決心があるかを知ろうと質したところ、病中の近衛と熟議できないことから参加しないものの、できるだけ助力するとしたということも、林は述べている。
渡辺国武の名が挙がったところで、自由党再興構想の、重要な面について確認しておきたい。自由党→憲政党→立憲政友会の主流派から脱落した、かつての要人の連合という面である。板垣の土佐派、亡き星の関東派、渡辺と近い信州派、かつて関東派の中心であった大井憲太郎である。大井は、河野広中の尽力で憲政本党の総務委員となったものの、１８９９年３月に離党していた（１８９９年３月６日付東京朝日新聞）。板垣と星に敗れて自由党を去り、関東派を乗っ取られたに近かった大井が、それから約１０年を経て、没落した双方と、自由党を再興しようとしたのだから、興味深い（大井は大江卓宛の１９０３年２月６日付の書簡において、板垣擁立、自由党再建を説いた－三谷太一郎『増補 日本政党政治の形成』４３頁－）。かつて対立した有力者達が、不遇の身となったことで組むということは、ありがちなことに思えるが、この例ほど明確に、しかも多くの有力者（の勢力）が、突如（と言ってよいだろう）集まろうとした例は思い浮かばない。内輪もめを起こさないだけでも大変なのだが、渡辺や信州派が離れ（立憲政友会の離党者を見ると、龍野周一郎は自由党の結成に参加したが、小川平吉は新民党路線を採って同志研究会を結成、当時議員ではなかった石塚重平は第9回総選挙で無所属として当選し、甲辰倶楽部の結成に参加）、自由党が明確な政党とならなかったことで、当時衆議院議員ではなかった大井憲太郎の参加もなくなったと言えたため、実際には、残る土佐派と関東派との、関係の深化が課題であった。
自由党が結成されたとは言うものの、立憲政友会が、伊藤系と自由党に分裂した（≒元通りに割れた）とは、もちろん言えなかった。伊藤が去ったあと、立憲政友会の主導権は、陸奥系の原敬と、立憲自由党時代からの九州派の、松田正久が握った。伊藤の因子も自由党の因子も、立憲政友会にはしっかりと残ったのである。そもそも、関東地方の全議員が関東派であったわけではなく、関東派の全員が離党したわけでもなかった。これについて長野県も同様で、１９０４年１月２１日付の東京朝日新聞は、まだ立憲政友会に残っていた勢力も含めた、信州統一という渡辺の計画が、とん挫したと伝えている。
自由党の結成には、旧政友倶楽部系の９名（解散時１２名のうちの次の９名。和泉邦彦、上田実、大沢庄之助―教科書採用に関する収賄事件で６月２０日に拘引され、有罪となった―、川越進、関信之助、龍野周一郎、嶺山時善、持田若佐、藻寄鉄五郎）、交友倶楽部の４名（いずれも立憲政友会離党者の、河村喜助、栗原宣太郎、関根柳介、高木龍蔵）、無所属の高野孟矩も加わった。板垣が同志集会所の依頼で書いたものの、正式に採用されることなく終わった同志集会所の綱領には後述する通り、帝国党のように（第６章補足～吏党刷新、帝国党への道～参照）社会政策の必要性が唱えられており、政策にはさらに具体的なものが盛り込まれていた（１９０３年８月１６日付東京朝日新聞）。それは、かつて自由党系の最左派であった、大井の志向とも一致していたのであろう。具体的に見ると、綱領には、自由、平等、博愛の主義をとること、ある程度の個人の競争が必要であると認めた上での、法律によるある程度の平等、その統一上必要なもの以外は、社会政策は自治体と私人の経営を期すこと、資本者と労働者の調和を図ることなどが記されている。政策についてまとめると、次の通りである。積極財政、帰休兵制度の拡張による民力休養と軍事費節約、殖民政策の拡張、関税自主権の回復（成立と同時に外国人に土地、鉱山の所有権を認める）、所得税の累進性強化、累進制による相続税の導入、ぜいたく品への課税、行財政整理、鉄道、ガス、電気等、公共の性質を有する事業の公有化、地価修正、小作条例の制定、労働局の設立、工場法の制定、議院法の改正による立法権能の完全化、選挙権の漸次拡張、自治体を強固にする基本財産蓄積法の制定、普通教育の完成、小学校の無償化、簡易な実業教育の普及と貧民の職業学校設立の奨励と保護、慈善事業の奨励と保護、労働組合や生産、消費組合の設立奨励と保護、細民の金融機関の自治体による保護。綱領には満州と韓国の保全、政争が自治体に波及する弊を途絶することも謳われていた。それは、吏党系の志向と一致する主張であった。
１９０３年１２月２２日付の東京朝日新聞に掲載された自由党の創立宣言書には下のようにある。
立憲の邦國、必ず政黨あり政黨ありて而して後、始めて憲政の運用を全くするを得、夫れ政黨なるものは不抜の主義と一定の政網を有せざる可らず、是れ吾人夙に唱道する所なり然れども歳月の久しき、現存政黨なるものヽ漸く自ら情弊に陥り、而して尚は時に政黨を無視するの有司ありて、是が撲滅を策するに至る、政黨も亦徒に權勢利便に急なるや、殆ど其本領を顧るに暇あらず、或は其方向を二三にし甚しきに至りては他の頤使に供せらるヽに至る概するに堪ふ可けんや、抑々天下の輿望を負ひ敢て有司の失政を鳴らし、自ら進んで其責任の地位に立つ、是れ固より其所なり、是に於て吾人は基本に反り、遂に主義政網を基礎とする所の新政黨創立の急務なるを知る、乃ち吾人は敢て所見を披瀝し、茲に天下に檄告せんとす、吾人は所謂自由主義を執り、之を今日の社會に應用し以て貧富兩者の調和を圖り國民をして各其所を得せしむるに在り政網は即ち開國進取の皇謨を體して内は敎育の普及を計り農工商の發達を保導し、外は國家の自衞、及利權の擴張、一に退嬰を容れず、國交固より平和を重んずと雖も、東亜時局の解決の如きは、寧ろ國力を賭して之に當らざる可からざるを信ず其他政網の解説、政策の篠目及び黨制は更に審議討究結黨式學行の日を期して之を天下に發表すべし、今や議會解散せられ、國民共適從する所を知らず、
前半の部分からは、桂・伊藤合意への反発が表れている。
※自由党については、中元崇智「板垣退助の政界引退と『自由党史』」が詳しい。