Chợ tình Xuân Dương thực chất được khơi nguồn từ câu chuyện đầy xúc động của đôi vợ chồng trẻ người dân tộc Tày yêu thương nhau, ở thôn Pác Sen, xã Xuân Dương, huyện Na Rì. Hai người nên vợ nên chồng từ những câu sli, câu lượn tại các lễ hội lồng tồng được diễn ra hằng năm ở địa phương. Vào một ngày nọ, để bắt đầu cho vụ mùa sắp tới, hai vợ chồng cùng nhau đi làm đồng, chồng cuốc đất ở đầu ruộng, còn vợ phát cỏ nơi cuối đồng. Tới trưa, vào lúc đúng ngọ, người chồng đã thấm mệt, gọi vợ về nghỉ thì chỉ nghe tiếng núi rừng vọng lại. Chạy mãi mới tới đầu ruộng nơi vợ làm việc, người chồng chỉ thấy cán dao gẫy, cỏ cây nát trơ, là chứng tích của một cuộc vật lộn, xô đẩy còn sót lại. Về sau, chàng mới biết vợ mình đã bị đám người xấu bắt đi và vợ chàng đã chống trả quyết liệt, kêu cứu trong vô vọng, bởi thửa ruộng quá dài, khoảng cách giữa hai người quá xa, nên chàng không thể cứu vợ mình kịp lúc được.

Khi dân bản biết chuyện, ai cũng tỏ lòng thương xót cho đôi vợ chồng trẻ. Kể từ ấy, người dân đã đặt tên cho thửa ruộng này là Nà Rỳ (ruộng dài) để nhớ về câu chuyện đầy cảm động của đôi vợ chồng trẻ ngoan hiền (Địa danh Nà Rỳ cũng được đặt cho tên của huyện, qua nhiều năm người dân trong huyện dần đọc chệch đi thành huyện Na Rì như ngày nay). Sau này, tái ngộ chồng cũ tại một phiên chợ, người vợ vừa mừng, vừa tủi nhưng cũng chỉ biết ôm nhau khóc mà không thể hàn gắn lại tình xưa, vì mỗi người đều đã có gia đình riêng. Đau lòng trước tình cảm ấy, dân bản đã quyết định chọn ra một ngày để hai vợ chồng nọ có một ngày ôn lại chuyện xưa (đó là ngày 25/3 Âm lịch). Từ đó, ngày 25/3 âm lịch hằng năm trở thành ngày hội của những đôi lứa yêu nhau trong vùng, để những người lỡ duyên trước đó được gặp nhau, ôn lại chuyện cũ.