HMER Research

Nhận dạng công thức toán viết tay

Nghiên cứu chuyển ảnh công thức toán viết tay thành chuỗi có cấu trúc, gồm các thí nghiệm về masked-language pretraining và học đa nhiệm.

Từ công thức toán viết tay đến chuỗi LaTeX có cấu trúc.

Vai trò: Đóng góp nghiên cứu
Thời gian: 2024 – 2026
Trạng thái: Đóng góp nghiên cứu

Một công thức toán viết tay đi qua bước mã hóa hình ảnh và mô hình chuỗi có nhận biết cấu trúc để trở thành chuỗi máy có thể đọc. — Mẫu CROHME*Biểu thức viết tay được chuyển thành chuỗi LaTeX mà máy có thể đọc.

Mẫu CROHME*Biểu thức viết tay được chuyển thành chuỗi LaTeX mà máy có thể đọc.

Tổng quan

Nhận dạng công thức toán viết tay chuyển ảnh công thức thành chuỗi có cấu trúc. Thách thức không chỉ là nhận diện ký hiệu, mà còn cần xử lý bố cục không gian hai chiều như phân số, số mũ, chỉ số dưới và căn thức.

Vai trò của tôi

Tiền huấn luyện & học đa nhiệm
Triển khai phương pháp Mask CoMER, tái lập baseline, ablation, phân tích lỗi và viết bài; đóng góp thí nghiệm học đa nhiệm cho MTL + CBARM.
Huấn luyện & đánh giá mô hình
Huấn luyện và đánh giá mô hình PyTorch, theo dõi các lượt chạy bằng Weights & Biases.

Công nghệ sử dụng

ML cốt lõi

Python
PyTorch
PyTorch Lightning
CUDA

Huấn luyện & theo dõi

Weights & Biases
TorchMetrics

Dữ liệu & thị giác

CROHME
Torchvision + OpenCV
Pillow
Einops

Pipeline nghiên cứu

Một pipeline nhận dạng với hai hướng can thiệp bổ trợ nhằm giữ ngữ cảnh và cấu trúc toán học.

01Công thức viết tay
Ảnh xám chứa ký hiệu và bố cục toán học hai chiều.
02Mã hóa hình ảnh
Bộ mã hóa chuyển ảnh thành đặc trưng thị giác có thông tin không gian.
03Mô hình hóa cấu trúc
Bộ giải mã dùng ngữ cảnh thị giác để sinh chuỗi token có cấu trúc.
04Đầu ra máy đọc được
Chuỗi đầu ra có thể tái dựng thành biểu thức toán học.

Mask CoMER

Chiến lược hai giai đoạn: tiền huấn luyện dự đoán token bị che (masked-language pretraining), sau đó huấn luyện tác vụ HMER chính cùng stochastic-depth regularization.

MTL + CBARM

Tác vụ chính sinh chuỗi LaTeX được huấn luyện cùng tác vụ phụ về cấu trúc; CBARM tinh chỉnh cross-attention bằng tín hiệu theo kênh và không gian.

Sơ đồ giản lược học đa nhiệm và CBARM với nhãn chính, nhãn phụ đi vào một mô hình dùng chung. — Tổng quan phương pháp MTL + CBARM

Kết nối nghiên cứu

Hội nghịICDAR · 2025Đã xuất bản

Mask CoMER: Enhancing Handwritten Mathematical Expression Recognition with Masked Language Pretraining and Regularization

Nam Van Hai Phan, Khoa Minh Nguyen, Trung Thanh Nguyen, Trung Thanh Pham, Phuong-Nam Tran, Duc Ngoc Minh Dang

International Conference on Document Analysis and Recognition

Đồng tác giả

Tiền huấn luyện masked-language và regularization ngắt tầng ngẫu nhiên cho HMER, cải thiện tới +5 điểm ExpRate so với CoMER trên CROHME.

Paper Code Dự án

Abstract

Trích đoạn tóm tắt

We propose Mask CoMER, a two-stage training approach that combines a novel Masked Language Model Pretraining objective with stochastic depth regularization.

Xem tóm tắt đầy đủ tại nguồn

BibTeX

@inproceedings{maskcomer2025,
  title = {Mask CoMER: Enhancing Handwritten Mathematical Expression Recognition with Masked Language Pretraining and Regularization},
  author = {Nam Van Hai Phan and Khoa Minh Nguyen and Trung Thanh Nguyen and Trung Thanh Pham and Phuong-Nam Tran and Duc Ngoc Minh Dang},
  booktitle = {International Conference on Document Analysis and Recognition},
  year = {2025},
  doi = {10.1007/978-3-032-04624-6_22}
}

Tạp chíJIT · 2026Đã xuất bản

Enhancing handwritten mathematical expression recognition with convolutional block attention refinement module and multi-task learning

Thanh Trung Nguyen, Nhut Minh Nguyen, Nam Van Hai Phan, Khoa Minh Nguyen, Trung Thanh Pham, Phuong-Nam Tran, Cuong Tuan Nguyen, Duc Ngoc Minh Dang

Journal of Information and Telecommunication