程序包 com.agentsflex.core.document.splitter

类 AIDocumentSplitter

java.lang.Object

com.agentsflex.core.document.splitter.AIDocumentSplitter

所有已实现的接口:

DocumentSplitter

public class AIDocumentSplitter
extends Object
implements DocumentSplitter

AIDocumentSplitter：基于大模型（AI/LLM）的语义文档拆分器。 使用 "---" 作为段落分隔符，避免 JSON 解析风险。 支持注入 fallback 拆分器以提高鲁棒性。

字段概要

字段

修饰符和类型	字段	说明
private final ChatModel	chatModel
private ChatOptions	chatOptions
private static final String	CHUNK_SEPARATOR
private static final String	DEFAULT_SPLIT_PROMPT_TEMPLATE
private DocumentSplitter	fallbackSplitter
private static final org.slf4j.Logger	log
private int	maxChunks
private int	maxTotalLength
private String	splitPromptTemplate

构造器概要

构造器

构造器	说明
AIDocumentSplitter(ChatModel chatModel)

方法概要

修饰符和类型	方法	说明
private List<String>	parseChunksBySeparator(String text, String separator)
void	setChatOptions(ChatOptions chatOptions)
void	setFallbackSplitter(DocumentSplitter fallbackSplitter)
void	setMaxChunks(int maxChunks)
void	setMaxTotalLength(int maxTotalLength)
void	setSplitPromptTemplate(String splitPromptTemplate)
List<Document>	split(Document document, DocumentIdGenerator idGenerator)
private List<String>	tryAlternativeSplit(String text, String separator)

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

从接口继承的方法 com.agentsflex.core.document.DocumentSplitter

split, splitAll

字段详细资料

log

private static final org.slf4j.Logger log

DEFAULT_SPLIT_PROMPT_TEMPLATE

private static final String DEFAULT_SPLIT_PROMPT_TEMPLATE

另请参阅:

• 常量字段值

CHUNK_SEPARATOR

private static final String CHUNK_SEPARATOR

另请参阅:

• 常量字段值

chatModel

private final ChatModel chatModel

splitPromptTemplate

private String splitPromptTemplate

chatOptions

private ChatOptions chatOptions

maxChunks

private int maxChunks

maxTotalLength

private int maxTotalLength

fallbackSplitter

private DocumentSplitter fallbackSplitter

构造器详细资料

AIDocumentSplitter

public AIDocumentSplitter(ChatModel chatModel)

方法详细资料

split

public List<Document> split(Document document,
 DocumentIdGenerator idGenerator)

指定者:

split 在接口中 DocumentSplitter

parseChunksBySeparator

private List<String> parseChunksBySeparator(String text,
 String separator)

tryAlternativeSplit

private List<String> tryAlternativeSplit(String text,
 String separator)

setFallbackSplitter

public void setFallbackSplitter(DocumentSplitter fallbackSplitter)

setSplitPromptTemplate

public void setSplitPromptTemplate(String splitPromptTemplate)

setChatOptions

public void setChatOptions(ChatOptions chatOptions)

setMaxChunks

public void setMaxChunks(int maxChunks)

setMaxTotalLength

public void setMaxTotalLength(int maxTotalLength)