666條數(shù)據(jù)教會AI寫萬字長文！模型數(shù)據(jù)集都開源

AIGC動態(tài)歡迎閱讀

原標題：666條數(shù)據(jù)教會AI寫萬字長文！模型數(shù)據(jù)集都開源
關鍵字：數(shù)據(jù),模型,長度,文本,團隊
文章來源：量子位
內容字數(shù)：0字

內容摘要：

魔搭ModelScope團隊 投稿量子位 | 公眾號 QbitAI僅需600多條數(shù)據(jù)，就能訓練自己的長輸出模型了？！
事情是醬嬸兒的——
雖然大模型的上下文(Context)支持越來越長，但包括GPT-4o，Llama-3.1-70B，Claude 3.5 Sonnet在內的這些業(yè)界領先模型，在用戶指定所需輸出長度的情況下，其最大輸出長度仍無法滿足要求。
例如，針對“寫一篇關于羅馬帝國歷史的10000字文章”的要求，所有這些通用模型在輸出長度上均無法超過2000字。
對此，基于GLM4-9B，智譜通過構建長輸出的訓練數(shù)據(jù)得到了LongWriter-GLM4-9B模型，能夠應對超長輸出（10000+ words）場景。
與此同時，智譜開源了訓練該模型所需的長輸出文本數(shù)據(jù)集LongWriter-6K。
現(xiàn)在，魔搭社區(qū)上基于LongWriter-6K過濾精選了666條數(shù)據(jù)（LongWriter-6K-Filtered），也一并開源了。
有啥用？？
一句話，使用該數(shù)據(jù)集，你就能在自己的模型中集成長輸出能力了。
LongWriter數(shù)據(jù)生成與模型訓練通過分析訓練SFT數(shù)據(jù)，團隊發(fā)現(xiàn)對于“模型無法

原文鏈接：666條數(shù)據(jù)教會AI寫萬字長文！模型數(shù)據(jù)集都開源

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：