使用Scikit-LLM进行文本摘要

要点

• Scikit-LLM桥接传统机器学习与大语言模型，提供零样本和少样本分类及文本摘要功能。
• 自定义HuggingFaceSummarizer类继承自BaseEstimator和TransformerMixin，可加载预训练摘要模型并生成摘要。
• 通过流水线将摘要、TF-IDF向量化和逻辑回归分类器串联，实现数据预处理与模型训练一体化。
• 示例中使用轻量级模型distilbart-cnn-12-6，摘要质量有限但可自由替换为更强模型。