Dingo：一个综合性的数据质量评估工具

Dingo是一款专注于数据质量评估的工具，旨在自动化检测数据集中的质量问题。它提供了多种内置检测规则和模型评估方法，并支持用户自定义评估方法。Dingo兼容多种数据集类型，包括自然语言处理（NLP）数据集和多模态数据集，如预训练数据集、微调数据集和评估数据集。

1、多种输入数据源支持

支持本地文件、HuggingFace数据集和S3存储文件等多种数据源。同时，支持预训练、微调和评估等多种数据类型。

2、自定义规则与模型评估

内置20多种通用启发式规则评估，支持OpenAI、kimi等常用大语言模型（LLM）评估，以及本地指定模型（如llama3）评估。用户可以根据需求自定义规则和模型评估方法。

3、多种接口与执行引擎

提供本地CLI和SDK接口，方便集成到各种评估平台，例如OpenCompass。此外，支持本地和Spark两种执行引擎，适用于不同规模的数据评估任务。

4、多维指标报告与可追溯性

输出包含7个质量指标的概况报告和异常数据追溯详情报告，帮助用户全面了解数据质量状况。

5、灵活的使用方式

用户可以通过CLI或SDK调用Dingo进行数据质量评估，支持自动生成前端页面以可视化评估结果。

6、扩展性强

支持多种数据模态（如文本和图片），并提供丰富的配置选项，方便用户根据具体需求进行定制。

上面是“Dingo：一个综合性的数据质量评估工具”的全面内容，想了解更多关于 IT知识 内容，请继续关注web建站教程。

当前网址：https://m.ipkd.cn/webs_18205.html

声明：本站提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请发送到邮箱：admin@ipkd.cn，我们会在看到邮件的第一时间内为您处理！