Home

Awesome

<div align="center"> <img src="./docs/logo.png" width="250px"/> <div>&nbsp;</div>

Downloads Visitors license PyPI version forks stars last-releast last-commit Twitter

</div> <div align="center">

English | 中文

</div>

CnSTD

Update 2024.06.16：发布 V1.2.4

主要变更：

Update 2023.06.30：发布 V1.2.3

主要变更：

了解更多：RELEASE.md 。

CnSTD 是 Python 3 下的场景文字检测（Scene Text Detection，简称STD）工具包，支持中文、英文等语言的文字检测，自带了多个训练好的检测模型，安装后即可直接使用。CnSTD 自 V1.2.1 版本开始，加入了数学公式检测（Mathematical Formula Detection，简称MFD）模型，并提供训练好的模型可直接用于检测图片中包含的数学公式（行内公式 embedding 与独立行公式 isolated ）。

欢迎扫码加入微信交流群：

<div align="center"> <img src="https://huggingface.co/datasets/breezedeus/cnocr-wx-qr-code/resolve/main/wx-qr-code.JPG" alt="微信群二维码" width="300px"/> </div>

作者也维护 知识星球 CnOCR/CnSTD/P2T私享群，欢迎加入。知识星球私享群会陆续发布一些CnOCR/CnSTD/P2T相关的私有资料，包括更详细的训练教程，未公开的模型，使用过程中遇到的难题解答等。本群也会发布OCR/STD相关的最新研究资料。

自 V1.0.0 版本开始，CnSTD 从之前基于 MXNet 实现转为基于 PyTorch 实现。新模型的训练合并了 ICPR MTWI 2018、ICDAR RCTW-17 和 ICDAR2019-LSVT 三个数据集，包括了 46447 个训练样本，和 1534 个测试样本。

相较于之前版本， 新版本的变化主要包括：

如需要识别文本框中的文字，可以结合 OCR 工具包 cnocr 一起使用。

示例

场景文字检测（STD）

<div align="center"> <img src="./docs/cases.png" alt="STD效果" width="700px"/> </div>

数学公式检测（MFD）

MFD 模型检测图片中包含的数学公式，其中行内的公式检测为 embedding 类别，独立行的公式检测为 isolated。模型训练使用了英文 IBEM 和中文 CnMFD_Dataset 两个数据集。

<div align="center"> <img src="./examples/mfd/out-zh4.jpg" alt="中文MFD效果" width="700px"/> </div> <div align="center"> <img src="./examples/mfd/out-zh5.jpg" alt="中文MFD效果" width="700px"/> </div> <div align="center"> <img src="./examples/mfd/out-en2.jpg" alt="英文MFD效果" width="700px"/> </div>

版面分析（Layout Analysis）

版面分析模型识别图片中的不同排版元素。模型训练使用的是 CDLA 数据集。可识别以下10中版面元素：

正文标题图片图片标题表格表格标题页眉页脚注释公式
TextTitleFigureFigure captionTableTable captionHeaderFooterReferenceEquation
<div align="center"> <img src="./examples/layout/out-zh.jpg" alt="版面分析效果" width="700px"/> </div>

安装

嗯，顺利的话很简单（bless）。

pip install cnstd

如果需要使用 ONNX 模型（model_backend=onnx），请使用以下命令安装：

安装速度慢的话，可以指定国内的安装源，如使用豆瓣源：

pip install cnstd -i https://mirrors.aliyun.com/pypi/simple

【注意】：

已有STD模型

CnSTD 从 V1.2 开始，可直接使用的模型包含两类：1）CnSTD 自己训练的模型，通常会包含 PyTorch 和 ONNX 版本；2）从其他ocr引擎搬运过来的训练好的外部模型，ONNX化后用于 CnSTD 中。

直接使用的模型都放在 cnstd-cnocr-models 项目中，可免费下载使用。

1. CnSTD 自己训练的模型

当前版本（Since V1.1.0）的文字检测模型使用的是 DBNet，相较于 V0.1 使用的 PSENet 模型， DBNet 的检测耗时几乎下降了一个量级，同时检测精度也得到了极大的提升。

目前包含以下已训练好的模型：

模型名称参数规模模型文件大小测试集精度（IoU）平均推断耗时<br />（秒/张）下载方式
db_resnet3422.5 M86 M0.73223.11自动
db_resnet1812.3 M47 M0.72941.93自动
db_mobilenet_v34.2 M16 M0.72691.76自动
db_mobilenet_v3_small2.0 M7.9 M0.70541.24自动
db_shufflenet_v24.7 M18 M0.72381.73自动
db_shufflenet_v2_small3.0 M12 M0.71901.29自动
db_shufflenet_v2_tiny1.9 M7.5 M0.71721.14下载链接

上表耗时基于本地 Mac 获得，绝对值无太大参考价值，相对值可供参考。IoU的计算方式经过调整，仅相对值可供参考。

相对于两个基于 ResNet 的模型，基于 MobileNet 和 ShuffleNet 的模型体积更小，速度更快，建议在轻量级场景使用。

2. 外部模型

以下模型是 PaddleOCR 中模型的 ONNX 版本，所以不会依赖 PaddlePaddle 相关工具包，故而也不支持基于这些模型在自己的领域数据上继续精调模型。这些模型支持检测竖排文字。

model_namePyTorch 版本ONNX 版本支持检测的语言模型文件大小
ch_PP-OCRv3_detX√简体中问、英文、数字2.3 M
ch_PP-OCRv2_detX√简体中问、英文、数字2.2 M
en_PP-OCRv3_detX√英文、数字2.3 M

更多模型可参考 PaddleOCR/models_list.md 。如有其他外语（如日、韩等）检测需求，可在 知识星球 CnOCR/CnSTD私享群 中向作者提出建议。

使用方法

首次使用 CnSTD 时，系统会自动下载zip格式的模型压缩文件，并存放于 ~/.cnstd目录（Windows下默认路径为 C:\Users\<username>\AppData\Roaming\cnstd）。下载速度超快。下载后的zip文件代码会自动对其解压，然后把解压后的模型相关目录放于~/.cnstd/1.2目录中。

如果系统无法自动成功下载zip文件，则需要手动从 百度云盘（提取码为 nstd）下载对应的zip文件并把它存放于 ~/.cnstd/1.2（Windows下为 C:\Users\<username>\AppData\Roaming\cnstd\1.2）目录中。模型也可从 cnstd-cnocr-models 中下载。放置好zip文件后，后面的事代码就会自动执行了。

场景文字检测（STD）

使用类 CnStd 进行场景文字的检测。类 CnStd 的初始化函数如下：

class CnStd(object):
    """
    场景文字检测器（Scene Text Detection）。虽然名字中有个"Cn"（Chinese），但其实也可以轻松识别英文的。
    """

    def __init__(
        self,
        model_name: str = 'ch_PP-OCRv3_det',
        *,
        auto_rotate_whole_image: bool = False,
        rotated_bbox: bool = True,
        context: str = 'cpu',
        model_fp: Optional[str] = None,
        model_backend: str = 'onnx',  # ['pytorch', 'onnx']
        root: Union[str, Path] = data_dir(),
        use_angle_clf: bool = False,
        angle_clf_configs: Optional[dict] = None,
        **kwargs,
    ):

其中的几个参数含义如下：

每个参数都有默认取值，所以可以不传入任何参数值进行初始化：std = CnStd()。

文本检测使用类CnOcr的函数 detect()，以下是详细说明：

类函数CnStd.detect()

    def detect(
        self,
        img_list: Union[
            str,
            Path,
            Image.Image,
            np.ndarray,
            List[Union[str, Path, Image.Image, np.ndarray]],
        ],
        resized_shape: Union[int, Tuple[int, int]] = (768, 768),
        preserve_aspect_ratio: bool = True,
        min_box_size: int = 8,
        box_score_thresh: float = 0.3,
        batch_size: int = 20,
        **kwargs,
    ) -> Union[Dict[str, Any], List[Dict[str, Any]]]:

函数说明：

函数输入参数包括：

函数输出类型为list，其中每个元素是一个字典，对应一张图片的检测结果。字典中包含以下 keys：

调用示例

from cnstd import CnStd
std = CnStd()
box_info_list = std.detect('examples/taobao.jpg')

或：

from PIL import Image
from cnstd import CnStd

std = CnStd()
img_fp = 'examples/taobao.jpg'
img = Image.open(img_fp)
box_infos = std.detect(img)

识别检测框中的文字（OCR）

上面示例识别结果中"cropped_img"对应的值可以直接交由 cnocr 中的 CnOcr 进行文字识别。如上例可以结合 CnOcr 进行文字识别：

from cnstd import CnStd
from cnocr import CnOcr

std = CnStd()
cn_ocr = CnOcr()

box_infos = std.detect('examples/taobao.jpg')

for box_info in box_infos['detected_texts']:
    cropped_img = box_info['cropped_img']
    ocr_res = cn_ocr.ocr_for_single_line(cropped_img)
    print('ocr result: %s' % str(ocr_res))

注：运行上面示例需要先安装 cnocr ：

pip install cnocr

数学公式检测（MFD）与 版面分析（Layout Analysis）

数学公式检测（MFD）与 版面分析（Layout Analysis）都是检测图片中感兴趣的元素，它们使用的都是基于YOLOv7的检测架构，在CnSTD都来源于相同的类 LayoutAnalyzer，差别只是训练模型使用的数据不同。

这两个模型的训练代码在 yolov7 中（Forked from WongKinYiu/yolov7，感谢原作者。）

类 LayoutAnalyzer 的初始化函数如下：

class LayoutAnalyzer(object):
    def __init__(
        self,
        model_name: str = 'mfd',  # 'layout' or 'mfd'
        *,
        model_type: str = 'yolov7_tiny',  # 当前支持 [`yolov7_tiny`, `yolov7`]'
        model_backend: str = 'pytorch',
        model_categories: Optional[List[str]] = None,
        model_fp: Optional[str] = None,
        model_arch_yaml: Optional[str] = None,
        root: Union[str, Path] = data_dir(),
        device: str = 'cpu',
        **kwargs,
    )

其中的参数含义如下：

类函数LayoutAnalyzer.analyze()

对指定图片（列表）进行版面分析。

def analyze(
    self,
    img_list: Union[
        str,
        Path,
        Image.Image,
        np.ndarray,
        List[Union[str, Path, Image.Image, np.ndarray]],
    ],
    resized_shape: Union[int, Tuple[int, int]] = 700,
    box_margin: int = 2,
    conf_threshold: float = 0.25,
    iou_threshold: float = 0.45,
) -> Union[List[Dict[str, Any]], List[List[Dict[str, Any]]]]:

函数说明：

函数输入参数包括：

函数输出结果为一个list（如果 img_list 为 list，返回为两层嵌套的 list，其中每个元素为对应图片的检测结果），其中每个元素表示识别出的版面中的一个元素，包含以下信息：

调用示例

from cnstd import LayoutAnalyzer
img_fp = 'examples/mfd/zh5.jpg'
analyzer = LayoutAnalyzer('mfd')
out = analyzer.analyze(img_fp, resized_shape=700)
print(out)

脚本使用

cnstd 包含了几个命令行工具，安装 cnstd 后即可使用。

STD 预测单个文件或文件夹中所有图片

使用命令 cnstd predict 预测单个文件或文件夹中所有图片，以下是使用说明：

(venv) ➜  cnstd git:(master) ✗ cnstd predict -h
Usage: cnstd predict [OPTIONS]

  预测单个文件，或者指定目录下的所有图片

Options:
  -m, --model-name [ch_PP-OCRv2_det|ch_PP-OCRv3_det|db_mobilenet_v3|db_mobilenet_v3_small|db_resnet18|db_resnet34|db_shufflenet_v2|db_shufflenet_v2_small|db_shufflenet_v2_tiny|en_PP-OCRv3_det]
                                  模型名称。默认值为 db_shufflenet_v2_small
  -b, --model-backend [pytorch|onnx]
                                  模型类型。默认值为 `onnx`
  -p, --pretrained-model-fp TEXT  使用训练好的模型。默认为 `None`，表示使用系统自带的预训练模型
  -r, --rotated-bbox              是否检测带角度（非水平和垂直）的文本框。默认为 `True`
  --resized-shape TEXT            格式："height,width";
                                  预测时把图片resize到此大小再进行预测。两个值都需要是32的倍数。默认为
                                  `768,768`

  --box-score-thresh FLOAT        检测结果只保留分数大于此值的文本框。默认值为 `0.3`
  --preserve-aspect-ratio BOOLEAN
                                  resize时是否保留图片原始比例。默认值为 `True`
  --context TEXT                  使用cpu还是 `gpu` 运行代码，也可指定为特定gpu，如`cuda:0`。默认为
                                  `cpu`

  -i, --img-file-or-dir TEXT      输入图片的文件路径或者指定的文件夹
  -o, --output-dir TEXT           检测结果存放的文件夹。默认为 `./predictions`
  -h, --help                      Show this message and exit.

例如可以使用以下命令对图片 examples/taobao.jpg进行检测，并把检测结果存放在目录 outputs中：

cnstd predict -i examples/taobao.jpg -o outputs

具体使用也可参考文件 Makefile 。

MFD or Layout Analysis 预测单个文件

使用命令 cnstd analyze 获得单个文件的 MFD 或者 Layout Analysis 结果，以下是使用说明：

(venv) ➜  cnstd git:(master) ✗ cnstd analyze -h
Usage: cnstd analyze [OPTIONS]

  对给定图片进行 MFD 或者 版面分析。

Options:
  -m, --model-name TEXT           模型类型。`mfd` 表示数学公式检测，`layout`
                                  表示版面分析；默认为：`mfd`
  -t, --model-type TEXT           模型类型。当前支持 [`yolov7_tiny`, `yolov7`]
  -b, --model-backend [pytorch|onnx]
                                  模型后端架构。当前仅支持 `pytorch`
  -c, --model-categories TEXT     模型的检测类别名称（","分割）。默认值：None，表示基于 `model_name`
                                  自动决定
  -p, --model-fp TEXT             使用训练好的模型。默认为 `None`，表示使用系统自带的预训练模型
  -y, --model-arch-yaml TEXT      模型的配置文件路径
  --device TEXT                   cuda device, i.e. 0 or 0,1,2,3 or cpu
  -i, --img-fp TEXT               待分析的图片路径或图片目录
  -o, --output-fp TEXT            分析结果输出的图片路径。默认为 `None`，会存储在当前文件夹，文件名称为输入文件名称
                                  前面增加`out-`；如输入文件名为 `img.jpg`, 输出文件名即为 `out-
                                  img.jpg`；如果输入为目录，则此路径也应该是一个目录，会将输出文件存储在此目录下
  --resized-shape INTEGER         分析时把图片resize到此大小再进行。默认为 `608`
  --conf-thresh FLOAT             Confidence Threshold。默认值为 `0.25`
  --iou-thresh FLOAT              IOU threshold for NMS。默认值为 `0.45`
  -h, --help                      Show this message and exit.

例如可以使用以下命令对图片 examples/mfd/zh.jpg 进行 MFD，并把检测结果存放在文件 out-zh.jpg 中：

(venv) ➜  cnstd analyze -m mfd --conf-thresh 0.25 --resized-shape 800 -i examples/mfd/zh.jpg -o out-zh.jpg

具体使用也可参考文件 Makefile 。

模型训练

使用命令 cnstd train 训练文本检测模型，以下是使用说明：

(venv) ➜  cnstd git:(master) ✗ cnstd train -h
Usage: cnstd train [OPTIONS]

  训练文本检测模型

Options:
  -m, --model-name [db_resnet50|db_resnet34|db_resnet18|db_mobilenet_v3|db_mobilenet_v3_small|db_shufflenet_v2|db_shufflenet_v2_small|db_shufflenet_v2_tiny]
                                  模型名称。默认值为 `db_shufflenet_v2_small`
  -i, --index-dir TEXT            索引文件所在的文件夹，会读取文件夹中的 `train.tsv` 和 `dev.tsv` 文件
                                  [required]

  --train-config-fp TEXT          训练使用的json配置文件  [required]
  -r, --resume-from-checkpoint TEXT
                                  恢复此前中断的训练状态，继续训练
  -p, --pretrained-model-fp TEXT  导入的训练好的模型，作为初始模型。优先级低于 "--restore-training-
                                  fp"，当传入"--restore-training-fp"时，此传入失效

  -h, --help                      Show this message and exit.

具体使用可参考文件 Makefile 。

模型转存

训练好的模型会存储训练状态，使用命令 cnstd resave 去掉与预测无关的数据，降低模型大小。

(venv) ➜  cnstd git:(master) ✗ cnstd resave -h
Usage: cnstd resave [OPTIONS]

  训练好的模型会存储训练状态，使用此命令去掉预测时无关的数据，降低模型大小

Options:
  -i, --input-model-fp TEXT   输入的模型文件路径  [required]
  -o, --output-model-fp TEXT  输出的模型文件路径  [required]
  -h, --help                  Show this message and exit.

未来工作

给作者来杯咖啡

开源不易，如果此项目对您有帮助，可以考虑 给作者来杯咖啡 ☕️ 。

官方代码库：https://github.com/breezedeus/cnstd。