paddle-NLP 文档分析

最新推荐文章于 2024-01-29 20:11:17 发布

原创

最新推荐文章于 2024-01-29 20:11:17 发布 · 595 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#paddle #自然语言处理 #python

该代码示例展示了如何使用ERNIE-Layout模型进行文档理解，包括发票、海报、网页等不同类型的文本和图像信息抽取。用户可以输入问题，模型将从图片中提取相应数据并显示结果。

发票抽取问答、海报抽取问答、网页抽取问答、表格抽取问答、试卷抽取问答。

from pprint import pprint
from paddlenlp import Taskflow
import gradio as gr
from paddlenlp import Taskflow
import numpy as np
from PIL import Image
import uuid

docprompt = Taskflow("document_intelligence")

def model_inference(image, prompt):
    prompt = prompt.split("?")[:-1]

    # TODO:非得要个网络或本地地址，ndarray不行
    img = Image.fromarray(np.uint8(image))
    filename = "./image/" + str(uuid.uuid4()) + ".png"
    img.save(filename)

    res = docprompt([{"doc": filename, "prompt": prompt}])
    json_out = {"result": res}
    return image,json_out


def clear_all():
    return None, None, None


with gr.Blocks() as demo:
    gr.Markdown("ERNIE-Layout")
    with gr.Column(scale=1, min_width=100):
        img_in = gr.Image(value="https://bj.bcebos.com/paddlenlp/taskflow/document_intelligence/images/invoice.jpg",
                          label="Input")

        text = gr.Textbox(
            value="发票号码是多少?校验码是