描述
BioGPT 是一个专门的生成式预训练 Transformer 模型，专为生物医学文本生成和挖掘而设计。由微软研究人员开发，旨在提升生物医学领域的自然语言处理能力。该项目提供了基础预训练模型以及针对特定下游任务进行微调的版本。
此存储库是 BioGPT 的中心枢纽，提供了实现细节、要求以及安装和使用说明。用户可以克隆存储库并按照提供的步骤设置必要的依赖项，包括 PyTorch、fairseq、Moses 和 fastBPE。该项目强调关于配置环境变量和安装所需库的清晰指导，以确保顺畅的设置过程。
BioGPT 提供一系列预训练模型检查点，包括基础 BioGPT 和 BioGPT-Large，可以直接下载或通过 Hugging Face Hub 访问。此外，还提供针对问答（BioGPT-QA-PubMedQA）、关系抽取（BioGPT-RE-BC5CDR、BioGPT-RE-DDI、BioGPT-RE-DTI）和文档分类（BioGPT-DC-HoC）等任务的微调检查点。这些微调模型经过定制，可以更准确地执行特定的生物医学 NLP 任务。
该项目还详细介绍了如何使用 PyTorch 将 BioGPT 集成到自定义代码中，并为预训练和微调模型提供了示例代码片段。此外，BioGPT 已集成到 Hugging Face transformers 库中，允许使用 pipelines 和直接模型加载进行简单的文本生成和特征提取。这种集成简化了处理生物医学文本数据的研究人员和开发人员采用 BioGPT 的过程。
BioGPT 在 MIT 许可下发布，该许可也适用于其预训练模型，促进了研究社区内的开放访问和协作。该项目还遵守微软开源行为准则，为社区的贡献和建议营造了一个受欢迎的环境。Hugging Face Spaces 上提供了演示，可供交互式探索 BioGPT 的功能。
Microsoft BioGPT的核心功能
用于生物医学文本的生成式预训练 Transformer
支持文本生成和挖掘任务
提供预训练和微调模型检查点
与 Hugging Face transformers 库集成
可通过直接下载和 Hugging Face Hub 访问
用于问答的微调模型
用于关系抽取的微调模型
用于文档分类的微调模型
用于 PyTorch 集成的示例使用代码
MIT 许可，允许开放使用和分发
Microsoft BioGPT入门
克隆存储库：克隆 microsoft/BioGPT GitHub 存储库。
安装依赖项：按照说明安装 PyTorch、fairseq、Moses、fastBPE、sacremoses 和 scikit-learn。
配置环境：将 MOSES 和 FASTBPE 环境变量设置为各自的安装路径。
下载检查点：从提供的 URL 或 Hugging Face Hub 下载预训练或微调模型检查点。
集成到代码：导入必要的类并使用提供的 Python 代码示例加载模型。
执行生成：使用加载的模型对输入文本进行编码并生成生物医学文本。
利用 Hugging Face：使用 Hugging Face transformers pipeline 直接加载 BioGPT 进行文本生成。
Microsoft BioGPT的使用案例
- 生物医学文本生成
- 生物医学问答
- 关系抽取
- 文档分类
- 生物医学信息挖掘
- 药物-靶点相互作用预测
