自然语言处理问题 W2V - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1629 天前的主题，其中的信息可能已经有所发展或是发生改变。

我看好像所有语料都是连在一起的那么第一句的末尾词和第二句开头词也是有关系的按道理来说不应该是有关系的，想问下有什么定论吗？

1 条回复 • 2021-05-07 15:56:16 +08:00

1

princelai

2021-05-07 15:56:16 +08:00

开头连着结尾是合理的，比如文本生成，生成到句号，需要根据上 N 个词和句号来继续生成下一句话的开头。

而且就算真的没有上下文关系，只要你的每句话够长，那么不管 window=5 还是 7,都只有少部分两句话被关联起来了，对于整体的分布影响不大。

最后如果你非纠结这个问题，那你自己 split('.;')或者正则分割一下不就好了吗

关于 · 帮助文档 · 自助推广系统 · 博客 · API · FAQ · Solana · 3670 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 25ms · UTC 05:08 · PVG 13:08 · LAX 22:08 · JFK 01:08
♥ Do have faith in what you're doing.