首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
推荐学习书目
›
Learn Python the Hard Way
Python Sites
›
PyPI
- Python Package Index
›
http://diveintopython.org/toc/index.html
›
Pocoo
值得关注的项目
›
PyPy
›
Celery
›
Jinja2
›
Read the Docs
›
gevent
›
pyenv
›
virtualenv
›
Stackless Python
›
Beautiful Soup
›
结巴中文分词
›
Green Unicorn
›
Sentry
›
Shovel
›
Pyflakes
›
pytest
Python 编程
›
pep8 Checker
Styles
›
PEP 8
›
Google Python Style Guide
›
Code Style from The Hitchhiker's Guide
V2EX
›
Python
自然语言处理问题 W2V
galileo1214
·
2021-05-06 17:44:12 +08:00
· 1751 次点击
这是一个创建于 1627 天前的主题,其中的信息可能已经有所发展或是发生改变。
我看好像所有语料都是连在一起的 那么第一句的末尾词和第二句开头词也是有关系的 按道理来说不应该是有关系的,想问下有什么定论吗?
语料
w2v
末尾
开头
1 条回复
•
2021-05-07 15:56:16 +08:00
1
princelai
2021-05-07 15:56:16 +08:00
开头连着结尾是合理的,比如文本生成,生成到句号,需要根据上 N 个词和句号来继续生成下一句话的开头。
而且就算真的没有上下文关系,只要你的每句话够长,那么不管 window=5 还是 7,都只有少部分两句话被关联起来了,对于整体的分布影响不大。
最后如果你非纠结这个问题,那你自己 split('.;')或者正则分割一下不就好了吗
关于
·
帮助文档
·
自助推广系统
·
博客
·
API
·
FAQ
·
Solana
·
5893 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms ·
UTC 03:35
·
PVG 11:35
·
LAX 20:35
·
JFK 23:35
♥ Do have faith in what you're doing.
❯