Setelah Nabi SAW tiba di Madinah dan diterima penduduk Madinah, Nabi SAW menjadi pemimpin penduduk kota itu. Ia segera meletakkan dasar-dasar kehidupan yang kokoh bagi pembentukan suatu masyarakat baru.
Dasar pertama yang ditegakkannya adalah Ukhuwah Islamiyah (persaudaraan di dalam Islam), yaitu antara kaum Muhajirin (orang-orang yang hijrah dari Mekah ke Madinah) dan Anshar (penduduk Madinah yang masuk Islam dan ikut membantu kaum Muhajirin).
Nabi SAW mempersaudarakan individu-individu dari golongan Muhajirin dengan individu-individu dari golongan Anshar.
Misalnya, Nabi SAW mempersaudarakan Abu Bakar dengan Kharijah bin Zaid, Ja'far bin Abi Thalib dengan Mu'az bin Jabal. Dengan demikian diharapkan masing-masing orang akan terikat dalam suatu persaudaraan dan kekeluargaan. Dengan persaudaraan yang semacam ini pula, Rasulullah telah menciptakan suatu persaudaraan baru, yaitu persaudaraan berdasarkan agama, menggantikan persaudaraan berdasarkan keturunan.
Dasar kedua adalah sarana terpenting untuk mewujudkan rasa persaudaraan tsb, yaitu tempat pertemuan. Sarana yang dimaksud adalah masjid, tempat untuk melakukan ibadah kepada Allah SWT secara berjamaah, yang juga dapat digunakan sebagai pusat kegiatan untuk berbagai hal, seperti belajar-mengajar, mengadili perkara-perkara yang muncul dalam masyarakat, musyawarah, dan transaksi dagang.
Nabi SAW merencanakan pembangunan masjid itu dan langsung ikut membangun bersama-sama kaum muslimin. Masjid yang dibangun ini kemudian dikenal sebagai Masjid Nabawi. Ukurannya cukup besar, dibangun di atas sebidang tanah dekat rumah Abu Ayyub al-Anshari. Dindingnya terbuat dari tanah liat, sedangkan atapnya dari daun-daun dan pelepah kurma. Di dekat masjid itu dibangun pula tempat tinggal Nabi SAW dan keluarganya.
Dasar ketiga adalah hubungan persahabatan dengan pihak-pihak lain yang tidak beragama Islam. Di Madinah, disamping orang-orang Arab Islam juga masih terdapat golongan masyarakat Yahudi dan orang-orang Arab yang masih menganut agama nenek moyang mereka. Agar stabilitas masyarakat dapat diwujudkan, Nabi Muhammad SAW mengadakan ikatan perjanjian dengan mereka.
Perjanjian tersebut diwujudkan melalui sebuah piagam yang disebut dengan Mîsâq Madînah atau Piagam Madinah. Isi piagam itu antara lain mengenai kebebasan beragama, hak dan kewajiban masyarakat dalam menjaga keamanan dan ketertiban negerinya, kehidupan sosial, persamaan derajat, dan disebutkan bahwa Rasulullah SAW menjadi kepala pemerintahan di Madinah.
Masyarakat yang dibentuk oleh Nabi Muhammad SAW di Madinah setelah hijrah itu sudah dapat dikatakan sebagai sebuah negara, dengan Nabi Muhammad SAW sebagai kepala negaranya. Dengan terbentuknya Negara Madinah, Islam makin bertambah kuat. Perkembangan Islam yang pesat itu membuat orang-orang Mekah menjadi resah. Mereka takut kalau-kalau umat Islam memukul mereka dan membalas kekejaman yang pernah mereka lakukan. Mereka juga khawatir kafilah dagang mereka ke Suriah akan diganggu atau dikuasai oleh kaum muslimin.
Untuk memperkokoh dan mempertahankan keberadaan negara yang baru didirikan itu, Nabi SAW mengadakan beberapa ekspedisi ke luar kota, baik langsung di bawah pimpinannya maupun tidak. Hamzah bin Abdul Muttalib membawa 30 orang berpatroli ke pesisir L. Merah. Ubaidah bin Haris membawa 60 orang menuju Wadi Rabiah. Sa'ad bin Abi Waqqas ke Hedzjaz dengan 8 orang Muhajirin. Nabi SAW sendiri membawa pasukan ke Abwa dan disana berhasil mengikat perjanjian dengan Bani Damra, kemudian ke Buwat dengan membawa 200 orang Muhajirin dan Anshar, dan ke Usyairiah. Di sini Nabi SAW mengadakan perjanjian dengan Bani Mudij.
EkspedEsi-ekspedisi tersebut sengaja digerakkan Nabi SAW sebagai aksi-aksi siaga dan melatih kemampuan calon pasukan yang memang mutlak diperlukan untuk melindungi dan mempertahankan negara yang baru dibentuk. Perjanjian perdamaian dengan kabilah dimaksudkan sebagai usaha memperkuat kedudukan Madinah.
