Chinese Simplified (简体中文)

English (English)

文档分类

文档分类的目的是将文档分配给不同的预定义类别。处理包含多类文档的文档流，并且需要确定每个文档的类型时，这会很有用。例如，您可能需要将合同、发票和收据分类放入不同的文件夹中，或者根据其类型重命名它们。这可以通过预先训练的系统自动完成。

文档分类的主要功能之一，是让您提前知道需要区分的文档类型。ABBYY FineReader Engine 可以根据内容、图像特点对文档进行分类，或者同时考虑已识别的文本和图像的特征。

我们来详细考虑下这个过程。它由两个主要步骤组成：

创建分类数据库

对于每个类别，选择多个典型文档或页面。它们将被用来创建分类数据库。

对文档进行分类

上一步创建的数据库可用来对文档进行分类。将传入文档馈送到经过预先训练的分类系统后，该系统会使用分类数据库来确定类别。

您也可能需要根据文档的某些属性（例如作者或者条形码值）对文档进行分类。本文不关注此类分类。如果想要根据其属性对文档进行分类，则应该实施自己的算法，可以使用文本提取、字段别识别或者条形码识别场景进行数据提取。

下述程序也由分类演示工具予以展示。

场景实现

下面详细介绍了使用 ABBYY FineReader Engine 对文件进行分类的推荐方法。

第1步加载 ABBYY FineReader Engine

要开始使用 ABBYY FineReader Engine，您需要创建 Engine 对象。Engine 对象是 ABBYY FineReader Engine 对象层次体系中的顶级对象，提供各种全局设置、一些处理方法和用于创建其它对象的方法。

要创建 Engine 对象，您可以使用 InitializeEngine 导出的函数。另请加载 Engine 对象的不同方式。

C#

public class EngineLoader : IDisposable
{
    public EngineLoader()
    {
        // 用 FREngine.dll 的完整路径、您的客户项目 ID，
        // 以及（如适用）您的在线许可证令牌文件路径和在线许可证密码初始化这些变量
        string enginePath = "";
        string customerProjectId = "";
        string licensePath = "";
        string licensePassword = "";
        // 加载 FREngine.dll 库
        dllHandle = LoadLibraryEx(enginePath, IntPtr.Zero, LOAD_WITH_ALTERED_SEARCH_PATH);
           
        try
        {
            if (dllHandle == IntPtr.Zero)
            {
                throw new Exception("无法加载" + enginePath);
            }
            IntPtr initializeEnginePtr = GetProcAddress(dllHandle, "InitializeEngine");
            if (initializeEnginePtr == IntPtr.Zero)
            {
                throw new  Exception("无法找到 InitializeEngine 函数");
            }
            IntPtr deinitializeEnginePtr = GetProcAddress(dllHandle, "DeinitializeEngine");
            if (deinitializeEnginePtr == IntPtr.Zero)
            {
                throw new Exception("无法找到 DeinitializeEngine 函数");
            }
            IntPtr dllCanUnloadNowPtr = GetProcAddress(dllHandle, "DllCanUnloadNow");
            if (dllCanUnloadNowPtr == IntPtr.Zero)
            {
                throw new Exception("无法找到 DllCanUnloadNow 函数");
            }
            // 转换指针为代理
            initializeEngine = (InitializeEngine)Marshal.GetDelegateForFunctionPointer(
                initializeEnginePtr, typeof(InitializeEngine));
            deinitializeEngine = (DeinitializeEngine)Marshal.GetDelegateForFunctionPointer(
                deinitializeEnginePtr, typeof(DeinitializeEngine));
            dllCanUnloadNow = (DllCanUnloadNow)Marshal.GetDelegateForFunctionPointer(
                dllCanUnloadNowPtr, typeof(DllCanUnloadNow));
            // 调用 InitializeEngine 函数
            // 传递路径到在线许可证文件路径和在线许可证密码
            int hresult = initializeEngine(customerProjectId, licensePath, licensePassword, 
                "", "", false, ref engine);
            Marshal.ThrowExceptionForHR(hresult);
        }
        catch (Exception)
        {
            // 释放 FREngine.dll 库
            engine = null;
            // FreeLibrary 调用前删除所有对象
            GC.Collect();
            GC.WaitForPendingFinalizers();
            GC.Collect();
            FreeLibrary(dllHandle);
            dllHandle = IntPtr.Zero;
            initializeEngine = null;
            deinitializeEngine = null;
            dllCanUnloadNow = null;
            throw;
        }
    }
    // Kernel32.dll 函数
    [DllImport("kernel32.dll")]
    private static extern IntPtr LoadLibraryEx(string dllToLoad, IntPtr reserved, uint flags);
    private const uint LOAD_WITH_ALTERED_SEARCH_PATH = 0x00000008;
    [DllImport("kernel32.dll")]
    private static extern IntPtr GetProcAddress(IntPtr hModule, string procedureName);
    [DllImport("kernel32.dll")]
    private static extern bool FreeLibrary(IntPtr hModule);
    // FREngine.dll 函数 
    [UnmanagedFunctionPointer(CallingConvention.StdCall, CharSet = CharSet.Unicode)]
    private delegate int InitializeEngine(string customerProjectId, string licensePath, 
        string licensePassword, string tempFolder, string dataFolder, bool isSharedCPUCoresMode, 
        ref FREngine.IEngine engine);
    [UnmanagedFunctionPointer(CallingConvention.StdCall)]
    private delegate int DeinitializeEngine();
    [UnmanagedFunctionPointer(CallingConvention.StdCall)]
    private delegate int DllCanUnloadNow();
    // 私有变量
    private FREngine.IEngine engine = null;
    // FREngine.dll 句柄 
    private IntPtr dllHandle = IntPtr.Zero;
    private InitializeEngine initializeEngine = null;
    private DeinitializeEngine deinitializeEngine = null;
    private DllCanUnloadNow dllCanUnloadNow = null;
}

第2步创建 ClassificationEngine

第3步准备分类对象

训练和分类方法用来处理从文档或者页面创建的特种对象：ClassificationObject，它包含所有和分类相关的信息。

要准备文档以供在分类方案中使用，请执行以下操作：

加载要处理的图像。有几种做法：例如，您可以借助 Engine 对象的 CreateFRDocument 方法创建 FRDocument 对象，然后使用 AddImageFile 方法在创建的 FRDocument 对象中添加图像。
如果要训练或者使用考虑到文本特征的分类器类型 (CT_Combined, CT_Text)，请先借助合适的方法对文档进行识别。我们会使用 FRDocument 对象的 Analyze 和 Recognize 方法。进行分类时不必进行文档合成。

虽然分类本身不支持并行处理，但您可能需要使用并行处理对文档进行预备性识别。如果要对大量文件进行分类，我们建议使用Batch Processor 或者使用 ABBYY FineReader Engine 进行平行处理中所述的其它平行处理方法。

使用 ClassificationEngine 对象的 CreateObjectFromDocument 方法创建 ClassificationObject，它包含文档首页的信息。如果需要使用文档的另一页，则调用 CreateObjectFromPage 方法。
ClassificationObject 的 Description 属性默认为空。如果需要相关说明，请指定该属性。

注：有时可能会发生以下情况，即已识别的文档或页面仍然不包含任何识别的文本（例如误用了空白页）。在此情况下，ClassificationObject 无法用于需要文本特征的分类器。可以使用它的 SuitableClassifiers 属性进行双重检查。

C#

// 创建 FRDocument 对象
FREngine.IFRDocument frDocument = engine.CreateFRDocument();
// 添加图像
frDocument.AddImageFile( "C:\\MyImage.tif", null, null );
// 可选：分析和识别文档
frDocument.Analyze( null, null, null );
frDocument.Recognize( null, null );
// 创建分类对象
FREngine.IClassificationObject clObject = classEngine.CreateObjectFromDocument( frDocument );
// 我们把对象所属的类别放入其说明中。
clObject.Description = "CategoryA_Object1";

第4步创建训练数据集

第5步训练分类模型

模型训练功能由 Trainer 对象提供。使用 ClassificationEngine 对象的 CreateTrainer 方法创建。

由两个子对象 TrainingParams 和 ValidationParams 包含分类器类型和训练程序的所有设置。决定需要哪些设置并更改相应属性：

分类器类型（ITrainingParams::ClassifierType）。该设置确定了分配类别时会考虑文档的哪些特征：图像特征、已识别文本的内容，或二者。要选择使用文本内容的类型，您需要确保已从之前识别的文档创建训练数据集中的所有分类对象。
训练模式（ITrainingParams::TrainingMode）。该设置确定了训练过程应该偏好高精度（所选元素有多少是正确的）、高调用（正确元素有多少被选），还是在两者之间寻求平衡。
是否应该使用 k-折交叉验证（IValidationParams::ShouldPerformValidation）。如果您训练的样本不大，那么我们建议使用交叉验证，因为这样一来，您可以在同一样本的不同分区上训练数个模型并选择最佳者。如果有大量已分类的数据，则最好关闭验证，在整个训练样本上训练模型，然后使用分类方法（第 6 步）在另一个样本上测试模型，计算您这边的性能分数。
k-折交叉验证参数：训练样本被分成的部分数量 (IValidationParams::FoldsCount) 和循环访问次数（IValidationParams::RepeatCount）。请注意，每次循环访问时训练集的所需对象数量对于文本分类器不小于4，对于合并分类器不小于8。请确保训练样本包含足够的对象。

现在，您已准备好训练模型了。将第4步配置的 TrainingData 对象传递到 Trainer 对象的 TrainModel 方法。它会返回一个 TrainingResults 集合，按照当前可用的功能，它只包含一个 TrainingResult。如果选择执行交叉验证，请在 ValidationResult 子对象中检查性能分数。

注：模型训练和分类将按顺序模式执行，与 IMultiProcessingParams::MultiProcessingMode 值无关。

ITrainingResult::Model 属性可实现对已训练分类模型的访问。可以借助 SaveToFile 方法将它存入文件中，或者直接用它对一些文档进行分类（继续执行第6步）。

C#

// 创建训练器对象并设置参数
FREngine.ITrainer trainer = classEngine.CreateTrainer();
trainer.TrainingParams.ClassifierType = (int)FREngine.ClassifierTypeEnum.CT_Image; // 分类器将只使用图像特征
// 我们将默认其他设置并直接训练模型
FREngine.ITrainingResults results = trainer.TrainModel ( trainingData );
// 检查模型的 F1 分数
double F1 = results[0].ValidationResult.FMeasure;
// 检索分类模型
FREngine.IModel model = results[0].Model;
// 保存模型以备后用
model.SaveToFile( "C:\\model.dat" );

第6步对文档进行分类

第7步卸载 ABBYY FineReader Engine

使用 ABBYY FineReader Engine 完成工作后，您需要卸载 Engine 对象。为此，请使用 DeinitializeEngine 导出功能。

C#

public class EngineLoader : IDisposable
{
    // 卸载 FineReader Engine
    public void Dispose()
    {
        if (engine == null)
        {
            // Engine 未加载 
            return;
        }
        engine = null;
        int hresult = deinitializeEngine();
        // 在 FreeLibrary 调用前删除所有对象
        GC.Collect();
        GC.WaitForPendingFinalizers();
        GC.Collect();
        int hresult = deinitializeEngine();

        hresult = dllCanUnloadNow();
        if (hresult == 0)
        {
            FreeLibrary(dllHandle);
        }
        dllHandle = IntPtr.Zero;
        initializeEngine = null;
        deinitializeEngine = null;
        dllCanUnloadNow = null;
        // 清理后引发异常
        Marshal.ThrowExceptionForHR(hresult);
    }
    // Kernel32.dll 函数
    [DllImport("kernel32.dll")]
    private static extern IntPtr LoadLibraryEx(string dllToLoad, IntPtr reserved, uint flags);
    private const uint LOAD_WITH_ALTERED_SEARCH_PATH = 0x00000008;
    [DllImport("kernel32.dll")]
    private static extern IntPtr GetProcAddress(IntPtr hModule, string procedureName);
    [DllImport("kernel32.dll")]
    private static extern bool FreeLibrary(IntPtr hModule);
    // FREngine.dll 函数
    [UnmanagedFunctionPointer(CallingConvention.StdCall, CharSet = CharSet.Unicode)]
    private delegate int InitializeEngine( string customerProjectId, string LicensePath, string LicensePassword, , , , ref FREngine.IEngine engine);
    [UnmanagedFunctionPointer(CallingConvention.StdCall)]
    private delegate int DeinitializeEngine();
    [UnmanagedFunctionPointer(CallingConvention.StdCall)]
    private delegate int DllCanUnloadNow();
    // 私有变量
    private FREngine.IEngine engine = null;
    // FREngine.dll 句柄
    private IntPtr dllHandle = IntPtr.Zero;
    private InitializeEngine initializeEngine = null;
    private DeinitializeEngine deinitializeEngine = null;
    private DllCanUnloadNow dllCanUnloadNow = null;
}

所需资源

您可以使用 FREngineDistribution.csv 文件来自动创建应用程序正常工作所需的文件列表。若要用该方案进行处理，请在栏5 (RequiredByModule) 中对以下值进行选择：

内核

Core.Resources

打开

打开，处理

处理

Processing.Classification

Processing.Classification.NaturalLanguages

Processing.OCR

Processing.OCR, Processing.ICR

Processing.OCR.NaturalLanguages

Processing.OCR.NaturalLanguages, Processing.ICR.NaturalLanguages

如果修改标准场景，请相应更改所需的模块。您还需要指定界面语言、识别语言和应用程序使用的任何其他功能（例如，如果需要打开 PDF 文件，则使用 Opening.PDF；如果需要识别 CJK 语言中的文本，则使用 Processing.OCR.CJK）。请参阅借助 FREngineDistribution.csv 文件处理进一步了解详情。

其他优化

以下文章提供了有关如何设置不同处理步骤的更多信息：

加载 Engine

加载 Engine 对象的不同方式
详细说明加载 Engine 对象的方式。
在多线程服务器应用程序中使用 ABBYY FineReader Engine
讨论在多个应用程序中使用 FineReader Engine 的具体细节。

打开预处理图像

图像预处理
说明 ABBYY FineReader Engine 用于处理图像的场景。

识别

使用 ABBYY FineReader Engine 进行平行处理
要快速为带有文本特征的分类器准备已识别文档或者页面，请使用平行处理进行识别，然后关闭多重处理以进行分类。

另请参阅

基本使用场景实现

17.09.2024 15:14:41

Your use of this site is conditioned on Your continued compliance with the Terms of Use.

Terms of Use

Disclaimer of Warranty

Limitation of Liability

Transmission and Submission of Information

Downloads

Use of Content

Trademarks

Links to Third-Party Sites

Foreign Legislation

Subscription Terms

Partner Subscription Terms