Bağdat'ta doğdu. Babası yüksek rütbeli bir memur ve Bağdat'ın eski ve bilinen sülâlelerinden biri olan Alûsîzâde sülalesinden Arif Hikmet Bey; annesi ise yine Bağdat'ın ileri gelenlerinden Kahyâzâdeler'in kızı Sara Hanım'dır. Meşhur tefsir alimi Mahmud el Alûsî, Ahmet Haşim'in babasının dedesidir. Babasının Arabistan vilâyetlerindeki memuriyetleri sebebiyle, düzensiz bir ilkokul tahsili gördü. Aynı sebepten dil olarak da sadece Arapça öğrendi. Annesinin ölümü üzerine 12 yaşında babasıyla birlikte İstanbul'a geldi. 1897'de Galatasaray Sultanîsi'ne yatılı olarak kaydoldu. Hâşim'in sanat ve edebiyata ilgisi, Galatasaray Sultanîsi'nde başlar.

Bilinen ilk manzumesi Leyâl-i Aşkım, 1901'de Mecmua-î Edebiyye'de yayınlandı. Bu dönemde Muallim Naci, Abdülhak Hâmid, Tevfik Fikret ve Cenab Şahabeddin'in tesiri altında kaldı. Son sınıfta iken Fransız şiirini ve sembolistleri tanıdı. Bundan sonra kendi şahsiyetini gösterdi ve ilk şiirlerini kitaplarına almadı. 1905-1908 yılları arasında yazdığı ve Piyâle başlıklı kitabına aldığı Şi'ir-î Kamer dizisindeki şiirleri hayal zenginliği, iç ahenkteki kuvvet ve büyük telkin kabiliyeti ile dikkat çekti ve beğenildi.

1909'da kurulan Fecr-i Âtî'ye girdi. 1907'de mezun olunca Reji İdaresine memur olarak girdi. Bir taraftan da Mekteb-i Hukuk'a devam etti. I. Dünya Savaşı'ndaki askerliği (1914-1918) sırasında Çanakkale Cephesinde bulundu. Savaştan sonra sınavla Duyun-u Umumiye'ye girdi. Duyun-u Umumiye'den çıktıktan sonra Osmanlı Bankası'na memur oldu. Anadolu Demiryolu Şirketi Meclisi İdare Azalığı'na tayin oldu. Ayrıca Anadolu'nun çeşitli yerlerini görme fırsatı buldu. 1924'te Paris'e, 1932'de de hastalığı sebebiyle Frankfurt'a gitti. Çeşitli yerlerde memur olarak çalışan Ahmet Hâşim, daha çok öğretmenlik yaptı. Sanâyi-i Nefîse Mektebi'nde, mitoloji dersleri hocalığı ve Mülkiye Mektebi'ndeki Fransızca öğretmenliği görevlerine vefatına kadar devam etti.