for tr := n.FirstChild; tr != nil; tr = tr.NextSibling {
if tr.Type == html.ElementNode && tr.Data == "tr" {
// 遍历每行中的 | 单元格
for td := tr.FirstChild; td != nil; td = td.NextSibling {
if td.Data == "td" {
buf.WriteString("[TD] ")
f(td) // 递归处理 | 中的内容
}
}
}
}
//buf.WriteString("Table End\n")
} else if n.Data == "ul" {
// 处理无序列表
for li := n.FirstChild; li != nil; li = li.NextSibling {
if li.Data == "li" {
buf.WriteString("- ")
f(li)
buf.WriteString("\n")
}
}
}
}
// 遍历子节点
for child := n.FirstChild; child != nil; child = child.NextSibling {
f(child)
}
}
// 启动递归遍历
f(doc)
// 去除多余空格
trimmedText := strings.TrimSpace(buf.String())
return trimmedText, nil
}
// SplitTextByChinesePunctuation 根据中文断句，拆分语句
func SplitTextByChinesePunctuation(text string) []string {
// Regular expression pattern for Chinese punctuation and spaces
// This pattern splits by Chinese punctuation, spaces, and keeps them for splitting.
//pattern := `[。！？；，:\s]+`
// 替换掉所有的 NBSP（不间断空格）为普通空格
text = strings.ReplaceAll(text, "\u00A0", " ")
pattern := `[，。！？、；：]|\s+`
re := regexp.MustCompile(pattern)
// Split the text by the pattern
parts := re.Split(text, -1)
// Filter out empty strings resulting from split
var result []string
for _, part := range parts {
trimmed := strings.TrimSpace(part)
if trimmed != "" {
result = append(result, trimmed)
}
}
return result
}
// RemoveDuplicates 去除字符串数组中重复数据；并去除被长语句包含的短语句
func RemoveDuplicates(strs []string) []string {
var result []string
for _, str := range strs {
// 检查当前短语是否已被 result 中的任何一个较长短语包含
shouldAdd := true
for _, resStr := range result {
if strings.Contains(resStr, str) {
// 如果已有的短语包含当前短语，则不添加当前短语
shouldAdd = false
break
}
}
if shouldAdd {
// 将当前短语添加到结果中
result = append(result, str)
// 再次遍历一遍，移除包含当前短语的任何较短短语
for i := len(result) - 2; i >= 0; i-- {
if strings.Contains(result[i], str) {
// 如果之前的较短短语包含当前短语，则移除该较短短语
result = append(result[:i], result[i+1:]...)
}
}
}
}
return result
}
// CountChineseCharacters 函数统计字符串数组中汉字的总数
func CountChineseCharacters(strs []string) int {
var totalCount int
for _, str := range strs {
for _, r := range str {
// 判断字符是否为汉字且不是标点符号
if unicode.Is(unicode.Han, r) && !unicode.IsPunct(r) {
totalCount++
}
}
}
return totalCount
}
|