Esei pengantar novel ini mengisahkan tentang kampung halaman pengarangnya - Salem, mengenai nenek moyangnya - fanatik Puritan, tentang karyanya dalam adat Salem dan tentang orang-orang yang harus dia hadapi di sana. "Baik pintu depan maupun pintu belakang adat istiadat menuju surga," dan layanan di institusi ini tidak memberikan kontribusi untuk berkembangnya kecenderungan baik pada orang. Suatu ketika, menggali kertas yang bertimbun di ruangan besar di tingkat tiga kastam, penulis menemui sebuah naskah Jonathan Pugh tertentu, yang telah meninggal dunia lapan puluh tahun yang lalu. Ini adalah biografi Esther Prien, yang hidup pada akhir abad ke-17. Sebuah kain merah disimpan dengan kertas-kertas itu, setelah diperiksa lebih dekat, ternyata disulam dengan huruf "A"; ketika penulis meletakkannya di dadanya, nampaknya dia merasakan luka bakar. Dibuang setelah kemenangan Whig, penulis kembali ke kajian sastera, yang mana hasil karya Pak Pugh sangat berguna baginya.
Dari penjara Boston datanglah Esther Prien dengan bayi di pelukannya. Dia mengenakan gaun cantik yang dijahitnya sendiri di penjara, di dadanya bordir berwarna merah dalam bentuk huruf "A" - huruf pertama dari kata Adulteress (zina). Semua orang mengutuk kelakuan Esther dan pakaiannya yang menantang. Dia dibawa ke alun-alun pasar ke platform, di mana dia harus berdiri di sebelah petang di bawah pandangan orang ramai yang memusuhi - hukuman seperti itu dijatuhkan oleh pengadilan atas kesalahannya dan kerana enggan memberikan nama ayah kepada anak perempuannya yang baru lahir. Berdiri di atas pil itu, Esther mengingatkan kembali kehidupan masa lalunya, ketika masih kecil di England lama, seorang saintis bungkuk setengah baya yang dengannya dia mengaitkan nasibnya. Melihat sekeliling orang ramai, dia melihat di barisan belakang seorang lelaki yang segera menguasai pemikirannya. Lelaki ini tidak muda, dia mempunyai pandangan penyelidik yang menembus dan pekerja belakang yang tidak kenal lelah. Dia bertanya kepada orang lain tentang siapa dia. Mereka terkejut kerana dia tidak mendengar apa-apa tentang dirinya. Tetapi dia menjelaskan bahawa dia tidak ada di sini, telah lama diperhambakan kepada orang bukan Yahudi, dan sekarang orang India membawanya ke Boston untuk menerima tebusan. Dia diberitahu bahawa Esther Prien adalah isteri seorang saintis Inggeris yang memutuskan untuk pindah ke New England. Dia menghantar isterinya ke depan, dan dia tinggal di Eropah. Selama dua tahun di Boston, Esther tidak mendapat berita daripadanya: dia mungkin meninggal. Mahkamah yang merendahkan mengambil kira semua keadaan yang meringankan dan tidak menghukum mati wanita yang jatuh, tetapi menjatuhkan hukuman selama tiga jam di panggung di tiang yang memalukan itu, dan kemudian membawa tanda penghinaan di dadanya seumur hidupnya. Tetapi semua orang sangat marah kerana dia tidak menamakan kaki tangan dosa. Paderi Boston tertua, John Wilson, memujuk Esther untuk mengungkapkan nama pemikat itu, diikuti oleh seorang pendeta muda Dimsdale, yang menjadi jemaatnya, berbicara kepadanya dengan suara terganggu. Tetapi wanita muda itu tetap berdiam diri, memegang erat bayinya ke dadanya.
Ketika Esther kembali ke penjara, orang asing yang sama yang dia lihat di dataran datang kepadanya. Dia adalah seorang doktor dan menggelarkan dirinya sebagai Roger Chillingworth. Pertama, dia menenangkan anak, dan kemudian memberi ubat Esther. Dia takut bahawa dia akan meracuninya, tetapi doktor berjanji untuk tidak membalas dendam baik wanita muda atau bayinya. Terlalu sombong baginya untuk mengahwini gadis cantik muda dan menunggu perasaan timbal balik darinya. Esther selalu jujur dengannya dan tidak berpura-pura mencintainya. Oleh itu, kedua-duanya telah merosakkan satu sama lain dan sama rata. Tetapi Chillingworth ingin mengetahui nama Esther yang dicintainya, nama orang yang telah melakukan kejahatan kepada mereka berdua. Esther enggan menamakannya. Chillingworth membuat dia bersumpah bahawa dia tidak akan mengungkapkan kepada siapa pun nama sebenarnya dan hubungannya dengannya. Biarkan semua orang percaya bahawa suaminya sudah mati. Dia memutuskan, dengan segala cara, untuk mengetahui siapa Esther berdosa dan membalas dendam kekasihnya.
Setelah keluar dari penjara, Esther menetap di sebuah rumah terbengkalai di pinggiran Boston dan mencari nafkah sebagai kerja jarum. Dia adalah penyulam yang mahir sehingga tidak ada habisnya pelanggan. Dia hanya membeli barang keperluan, dan membagikan wang selebihnya kepada orang miskin, sering mendengar penghinaan dan bukannya terima kasih sebagai balasannya. Anak perempuannya Mutiara cantik, tetapi mempunyai sifat suka dan suka berubah, jadi Esther tidak senang dengannya. Pearl tidak mahu mematuhi sebarang peraturan. Kesan sedar pertamanya adalah surat merah di dada Esther.
Meterai penolakan terletak pada gadis itu: dia tidak seperti kanak-kanak lain, tidak bermain dengan mereka. Melihat keanehan gadis itu dan terdesak untuk mengetahui siapa ayahnya, beberapa warganegara menganggapnya sebagai anak yang jahat. Esther tidak pernah putus dengan puterinya dan membawanya ke mana sahaja. Suatu hari mereka datang ke gubernur untuk memberikan kembali sepasang sarung tangan bersulam upacara yang dipesan olehnya. Gabenor tidak ada di rumah, dan mereka menunggunya di kebun. Gabenor kembali bersama imam Wilson dan Dimsdale. Dalam perjalanan, mereka bercakap tentang Mutiara sebagai anak dosa dan harus mengambilnya dari ibunya dan memindahkannya ke tangan lain. Ketika mereka melaporkan hal ini kepada Esther, dia tidak setuju untuk menyerahkan puterinya. Pastor Wilson memutuskan untuk mengetahui apakah Esther membesarkannya dengan semangat Kristian. Pearl, yang tahu lebih dari apa yang seharusnya pada usianya, dengan keras kepala dan menjawab pertanyaan siapa yang membuatnya, menjawab bahawa tidak ada yang menciptanya, ibunya baru menjumpainya di semak mawar di pintu penjara. Tuan-tuan yang soleh merasa ngeri: gadis itu sudah berusia tiga tahun, dan dia tidak tahu siapa yang membuatnya. Mereka memutuskan untuk mengambil Pearl dari ibu mereka, dan dia berjaya menjaga anak perempuannya di rumah hanya berkat syafaat Pastor Dimsdale.
Pengetahuan mengenai perubatan dan ketakwaan telah mendapat penghormatan dari penduduk Boston untuk Chillingworth. Segera setelah kedatangannya, dia memilih Pendeta Dimsdale sebagai ayah rohani. Semua paroki sangat menghargai ahli teologi muda dan prihatin terhadap kesihatannya, yang telah merosot dengan teruk dalam beberapa tahun kebelakangan ini. Orang-orang melihat jari Providence semasa kedatangan mereka ke doktor yang mahir dan menegaskan bahawa Mr Dimsdale berpaling kepadanya untuk meminta pertolongan. Akibatnya, imam muda dan doktor tua itu berteman, dan kemudian menetap bersama. Chillingworth, yang mulai menyelidiki rahsia Esther dengan sikap tidak berat sebelah hakim, semakin jatuh di bawah kekuatan satu perasaan - balas dendam, yang telah menundukkan seluruh hidupnya. Merasakan sifat pendeta muda yang bersemangat itu, dia ingin menembus ke lubuk jiwanya yang tersembunyi dan kerana ini tidak berhenti sama sekali. Chillingworth memprovokasi Dimsdale sepanjang masa, memberitahunya tentang orang-orang berdosa yang tidak bertobat. Dia mendakwa bahawa penyakit tubuh Dimsdale didasarkan pada luka mental dan memujuk paderi untuk mengungkapkan kepadanya, doktor, penyebab penderitaan emosinya. Dimsdale berseru: "Siapa kamu untuk <...> berdiri di antara penderita dan Tuhannya?" Tetapi begitu seorang imam muda tertidur di kerusi di siang hari dan tidak bangun walaupun Chillingworth memasuki bilik. Lelaki tua itu menghampirinya, meletakkan tangannya di dadanya dan membuka baju yang tidak pernah dilepaskan oleh Dimsdale di hadapan doktor. Chillingworth menang - "ini adalah bagaimana syaitan berkelakuan ketika dia yakin bahawa jiwa manusia yang berharga hilang untuk syurga dan menang untuk neraka." Dimsdale merasa permusuhan terhadap Chillingworth dan mencela dirinya sendiri, tidak menemukan alasan untuknya, dan Chillingworth - "makhluk yang menyedihkan, kesepian, bahkan lebih sengsara daripada korbannya" - berusaha sekuat tenaga untuk memperburuk siksaan mental Dimsdale.
Suatu malam, Dimsdale berjalan ke dataran pasar dan berdiri di atas pil. Pada waktu subuh berlalu oleh Esther Prien dan Pearl. Imam memanggil mereka, mereka naik ke pelantar dan berdiri di sebelahnya. Pearl bertanya kepada Dimsdale apakah dia akan berdiri di sini bersama mereka esok hari, tetapi dia menjawab bahawa pada Hari Penghakiman Terakhir, mereka bertiga akan berdiri di hadapan takhta hakim agung, tetapi sekarang bukankah waktu dan siang hari seharusnya tidak melihat mereka bertiga. Langit gelap tiba-tiba menyala - mungkin ini adalah cahaya meteor. Mereka melihat tidak jauh dari platform Chillingworth, yang tidak dapat dipisahkan dari mereka. Dimsdale memberitahu Esther bahawa dia merasa kengerian yang tidak dapat diungkapkan di hadapan lelaki ini, tetapi Esther, terikat dengan sumpah, tidak mengungkapkan kepadanya rahsia Chillingworth.
Tahun berlalu. Mutiara berumur tujuh tahun. Perilaku sempurna Esther dan pertolongannya yang tidak berminat kepada penderitaan menyebabkan kenyataan bahawa penduduk bandar mula memperlakukannya dengan rasa hormat. Bahkan surat merah itu nampaknya bukan simbol dosa, tetapi kekuatan batin. Suatu ketika, ketika berjalan dengan Pearl, Esther bertemu dengan Chillingworth dan kagum dengan perubahan yang terjadi pada dirinya dalam beberapa tahun terakhir. Wajah saintis yang tenang dan bijaksana itu memperoleh ekspresi pemarah, kejam, senyuman menatapnya dengan geram. Esther berbicara kepadanya, ini adalah perbualan pertama mereka sejak dia bersumpah untuk tidak menyatakan nama sebenarnya. Esther memintanya untuk tidak menyiksa Dimsdale: penderitaan yang ditanggung Chillingworth lebih buruk daripada kematian. Di samping itu, dia diseksa oleh mata musuhnya yang disumpah, bahkan tidak mengetahui siapa dia. Esther bertanya mengapa Chillingworth tidak membalas dendam kepadanya; dia menjawab bahawa surat merah membalaskan dendamnya. Esther meminta Chillingworth untuk berubah pikiran, dia masih dapat diselamatkan, kerana kebencian ini telah mengubahnya dari orang yang bijak dan adil kepada syaitan. Adalah kuasa-Nya untuk memaafkan, pengampunan orang yang telah menyinggung perasaannya akan menjadi keselamatannya. Tetapi Chillingworth tidak dapat memaafkan; takdirnya adalah kebencian dan balas dendam.
Esther memutuskan untuk mengungkapkan kepada Dimsdale bahawa Chillingworth adalah suaminya. Dia sedang mencari perjumpaan dengan paderi. Akhirnya dia menemuinya di hutan. Dimsdale memberitahunya bagaimana dia menderita dari kenyataan bahawa setiap orang menganggapnya suci dan tak bernoda, sementara dia telah menodai dirinya dengan dosa. Dia dikelilingi oleh pembohongan, kekosongan, kematian. Esther mendedahkan kepadanya yang bersembunyi dengan nama Chillingworth. Dimsdale sangat marah: kerana kesalahan Esther, dia "menanggung jiwa penjahatnya yang lemah di depan pandangan orang yang secara diam-diam mengejeknya." Tetapi dia memaafkan Esther. Kedua-duanya percaya bahawa dosa Chillingworth bahkan lebih buruk daripada dosa mereka: dia menceroboh kuil hati manusia. Mereka faham - Chillingworth, mengetahui bahawa Esther akan membongkar rahsia Dimsdale, mencipta tipu daya baru. Esther menawarkan Dimsdale untuk menjalankan dan memulakan kehidupan baru. Dia bersetuju dengan kapten kapal yang berlayar ke Bristol bahawa dia akan membawa dua orang dewasa dan seorang kanak-kanak.
Kapal itu akan berlayar dalam tiga hari, dan pada malam Dimsdale akan membaca khutbah pada hari pilihan raya. Tetapi dia merasakan fikirannya kabur. Chillingworth menawarkan pertolongan kepadanya, tetapi Dimsdale menolak. Orang ramai berkumpul di dataran pasar untuk mendengar pesanan Dimsdale. Esther bertemu dengan kapten kapal Bristol di khalayak ramai, dan dia memberitahu bahawa Chillingworth juga akan berlayar bersama mereka. Dia melihat di seberang Chillingworth Square yang tersenyum tidak menyenangkan kepadanya. Dimsdale menyampaikan khutbah yang cemerlang. Perarakan perayaan bermula, Dimsdale memutuskan untuk bertaubat kepada orang-orang. Chillingworth, menyedari bahawa ini akan meringankan penderitaan penderitanya, dan merasakan bahawa mangsa menjauh dari dia, meluru ke arahnya, memohon kepadanya untuk tidak memalukan martabat kudusnya. Dimsdale meminta Esther untuk membantunya menaiki platform. Dia berdiri di atas penderitaan dan bertobat dari dosanya di hadapan orang-orang. Sebagai kesimpulan, dia merobek selendang pendeta, mendedahkan dadanya. Pandangannya pudar, dia mati, kata-kata terakhirnya - pujian kepada Yang Maha Kuasa. Khabar angin yang berbeza merayap di sekitar kota: ada yang mengatakan bahawa ada surat merah di dada imam - persamaan yang sama dengan yang dipakai oleh Esther Prien. Sebaliknya, yang lain mendakwa bahawa dada pendeta itu bersih, tetapi, setelah mendekati kematian, dia ingin melepaskan semangat dalam pelukan seorang wanita yang jatuh untuk menunjukkan kepada dunia betapa meragukan kebenaran orang yang paling rapi.
Setelah kematian Dimsdale, Chillingworth, yang telah kehilangan makna hidup, segera menjadi lemah, dan kekuatan rohani dan jasmani meninggalkannya sekaligus. Belum pun setahun berlalu sebelum dia meninggal. Dia mewariskan seluruh kekayaannya kepada Pearl kecil. Selepas kematian doktor tua itu, Esther dan anak perempuannya hilang, dan kisah Esther menjadi legenda. Bertahun-tahun kemudian, Esther kembali dan secara sukarela memakai lambang rasa malu. Dia tinggal bersendirian di rumah lamanya di pinggiran Boston. Mutiara, nampaknya, berkahwin dengan bahagia, mengingati ibunya, menulis surat kepadanya, mengirim hadiah dan akan senang jika Esther tinggal bersamanya. Tetapi Esther ingin tinggal di tempat dosa itu terjadi - dia percaya bahawa penebusan juga harus dilakukan di sana. Ketika dia meninggal, dia dikuburkan di sebelah Pastor Dimsdale, tetapi masih ada celah di antara kedua kubur itu, seolah-olah walaupun setelah kematian, abu kedua-duanya tidak berhak untuk bercampur.