使用python将SCI文献PDF转Markdown

这是之前写文献综述的时候，为了方便整理文献，写了一个小工具，可以将SCI文献的PDF转换为Markdown格式。这样就可以直接在Markdown编辑器中编辑文献，方便整理、翻译和写作。

具体的代码如下：

import requests
import random
import os
from concurrent.futures import ThreadPoolExecutor, as_completed
import scipdf
import string
from datetime import datetime

# 自定义异常，用于处理 GROBID 服务的异常情况
class GROBID_OFFLINE_EXCEPTION(Exception):
    pass

class PDFToMarkdown:
    def __init__(self, input_path, grobid_urls=None):
        """
        初始化 PDFToMarkdown 实例。

        Args:
            input_path (str): 要处理的文件或文件夹路径。
            grobid_urls (list): 可选，GROBID 服务器 URLs 列表。默认为预设的 URLs 列表。
        """
        self.input_path = input_path
        # 使用自定义 GROBID 服务器，如果没有则使用默认服务器
        self.grobid_urls = grobid_urls if grobid_urls is not None else [
            "https://qingxu98-grobid.hf.space",
            "https://qingxu98-grobid2.hf.space",
            # ... (其他服务器 URL)
            "https://qingxu98-grobid8.hf.space",
        ]

    def get_avail_grobid_url(self):
        """获取可用的 GROBID 服务器 URL"""
        if not self.grobid_urls:
            return None

        while self.grobid_urls:
            _grobid_url = random.choice(self.grobid_urls)  # 随机选择一个 GROBID URL
            if _grobid_url.endswith('/'):
                _grobid_url = _grobid_url.rstrip('/')
            try:
                # 检查服务器是否在线
                res = requests.get(f"{_grobid_url}/api/isalive", timeout=5)
                if res.text == 'true':
                    return _grobid_url  # 返回可用的 URL
            except (requests.ConnectionError, requests.Timeout):
                # 如果连接错误或超时，从列表中移除此 URL
                self.grobid_urls.remove(_grobid_url)
        return None  # 如果没有可用的服务器，返回 None

    @staticmethod
    def dict_to_markdown(article_json):
        """将文章字典转换为 Markdown 格式字符串"""
        markdown_lines = []
        markdown_lines.append(f"# {article_json.get('title', '无标题')} \n")  # 标题
        markdown_lines.append(f"> doi:{article_json.get('doi', '')} \n")  # DOI
        markdown_lines.append(f"+ authors\n{article_json.get('authors', ['无作者'])}  \n")  # 作者
        markdown_lines.append(f"+ abstract\n{article_json.get('abstract', '无摘要')}  \n")  # 摘要

        # 处理各章节内容
        if 'sections' in article_json:
            for section in article_json['sections']:
                markdown_lines.append(f"+ {section['heading']}\n{section['text']}\n")  # 章节标题与内容

        return "\n".join(markdown_lines)  # 返回合并后的 Markdown 字符串

    @staticmethod
    def save_markdown_file(filename, content):
        """将内容写入到 Markdown 文件"""
        with open(filename, 'w', encoding='utf-8') as f:
            f.write(content)  # 写入内容到文件

    def parse_pdf(self, pdf_path, grobid_url):
        """解析单个 PDF 文件，返回文章字典"""
        if not os.path.isfile(pdf_path):
            raise FileNotFoundError(f"指定路径下没有找到 PDF 文件: {pdf_path}")  # 检查文件是否存在

        if grobid_url.endswith('/'):
            grobid_url = grobid_url.rstrip('/')

        try:
            # 使用 GROBID 解析 PDF
            return scipdf.parse_pdf_to_dict(pdf_path, grobid_url=grobid_url)
        except GROBID_OFFLINE_EXCEPTION:
            raise GROBID_OFFLINE_EXCEPTION("GROBID 服务不可用，检查配置中的 GROBID_URL。")
        except RuntimeError:
            raise RuntimeError("解析 PDF 失败，请检查 PDF 是否损坏。")

    def process_pdf_file(self, pdf_path, grobid_url):
        """处理单个 PDF 文件，返回 Markdown 内容"""
        print(f"正在解析: {pdf_path}")
        try:
            pdf_article_dict = self.parse_pdf(pdf_path, grobid_url)  # 解析 PDF 文件
            return self.dict_to_markdown(pdf_article_dict)  # 转换为 Markdown
        except Exception as e:
            print(f"处理文件 {pdf_path} 时发生错误: {e}")
            return None  # 出现错误时返回 None

    def process(self):
        """处理输入文件或文件夹，并返回生成的 Markdown 文件路径"""
        markdown_contents = []  # 存储所有 Markdown 内容
        grobid_url = self.get_avail_grobid_url()

        if grobid_url is None:
            raise RuntimeError("没有可用的 GROBID 服务，请检查您的服务器配置。")

        # 根据输入路径判断是文件还是文件夹
        if os.path.isfile(self.input_path):
            pdf_files = [self.input_path]  # 单个文件
        elif os.path.isdir(self.input_path):
            # 收集文件夹中的所有 PDF 文件
            pdf_files = [os.path.join(dirpath, filename)
                         for dirpath, _, filenames in os.walk(self.input_path)
                         for filename in filenames if filename.endswith('.pdf')]
        else:
            raise ValueError("输入路径既不是文件也不是文件夹。")

        # 使用线程池并行处理 PDF 文件
        with ThreadPoolExecutor(max_workers=5) as executor:
            future_to_file = {executor.submit(self.process_pdf_file, pdf, grobid_url): pdf for pdf in pdf_files}

            # 收集生成的 Markdown 内容
            for future in as_completed(future_to_file):
                result = future.result()
                if result:
                    markdown_contents.append(result)

        # 如果有有效的 Markdown 内容，将其保存到文件
        if markdown_contents:
            # 生成时间戳
            timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
            # 生成两位随机字母
            random_suffix = ''.join(random.choices(string.ascii_lowercase, k=2))
            output_filename = f"{timestamp}_{random_suffix}.md"
            self.save_markdown_file(output_filename, "\n\n".join(markdown_contents))  # 合并并保存为 Markdown 文件
            print(f"所有 Markdown 文件已合并并保存为 {output_filename}")
            return output_filename  # 返回生成文件路径
        else:
            print("没有有效的 Markdown 内容生成。")
            return None


# 如果直接运行此脚本，提供使用示例
if __name__ == "__main__":
    input_path = 'your_file_or_directory_path'  # 替换为你的文件或目录路径
    custom_grobid_urls = [
        "https://your-custom-grobid-server.com",
        "https://another-custom-grobid-server.com",
    ]
    pdf_to_markdown = PDFToMarkdown(input_path, grobid_urls=custom_grobid_urls)
    output_file = pdf_to_markdown.process()  # 处理 PDF 文件并生成 Markdown 文件
    print("生成的文件路径:", output_file)  # 输出生成的文件路径

注意需要指定安装了以下 Python 库：

pip install git+https://github.com/titipata/scipdf_parser

使用时，替换 input_path 为你的文件或目录路径，这个脚本是多线程的，可以处理文件夹中的所有 PDF 文件。如果你有自己的 GROBID 服务器，可以将其添加到 custom_grobid_urls 列表中，否则会使用默认的 GROBID 服务器。最终会生成一个 Markdown 文件，其中包含所有 PDF 文件的内容。

参考：

• scipdf_parser
• GROBID
• gpt_academic