“Qixin Wang 2016-03-07”版本间的差异

来自cslt Wiki
跳转至： 导航、 搜索
Wqx（讨论 | 贡献）
 
（相同用户的3个中间修订版本未显示）
第25行： 第25行：
 
* baselines
 
* baselines
 
* IJCAI Songci Review
 
* IJCAI Songci Review
 +
 +
 +
 +
 +
 +
 +
 +
 +
==== for HUILIAN Tech=====
 +
 +
 +
* patent modify:
 +
 +
form patent department:
 +
 +
1，主题应该修改为：一种基于循环神经网络算法的汉字随机组合输出方法。
 +
 +
2，尽量不要涉及诗歌，因为诗歌被公认为是一种文学创作，属于智力活动。
 +
 +
3，更多体现人工智能方面的特点，比如语义识别，综合分析，综合判断，大数据分析利用。
 +
 +
4，搭配硬件特征，比如语音输入输出模块，人机互动模块。
 +
 +
5，从技术角度解释如何体现随机性。
 +
 +
 +
modify:
 +
 +
本发明利用RNN模型，可以在不改变模型结构情况下，通过改变限制条件，生成各种体文本，且生成文本与主题（用户输入的信息）紧密相关。
 +
 +
本发明可学习不同语料，从而生成不同语言风格的文本。
 +
 +
本发明可在不降低性能的前提下，生成多种与主题紧密相关的文本。
 +
 +
[[文件:Picture1.png|700px]]
 +
 +
 +
 +
* BLEU problem:
 +
 +
BLEU decrease through the training process
 +
 +
0th_batch_model_poem5_10k_cost=88.4454.npz======== BLEU=0.465384615385
 +
 +
9th_batch_model_poem5_10k_cost=38.0762.npz======== BLEU=0.385714285714
 +
 +
18th_batch_model_poem5_10k_cost=4.04888.npz======== BLEU=0.32967032967
 +
 +
27th_batch_model_poem5_10k_cost=0.325413.npz======== BLEU=0.326923076923
 +
 +
36th_batch_model_poem5_10k_cost=0.111477.npz======== BLEU=0.330769230769
 +
 +
 +
generation result:
 +
 +
0th:
 +
 +
十 月 霜 风 寒 / 清 香 满 水 天 / 不 知 春 色 深 / 一 夜 白 云 间
 +
 +
云 居 九 月 半 / 不 知 此 意 难 / 一 枝 无 处 见 / 何 似 白 头 天
 +
 +
江 雾 秋 楼 白 / 风 流 水 上 来 / 不 知 春 色 月 / 一 夜 雨 中 开
 +
 +
烟 村 三 月 雨 / 江 南 一 夜 虚 / 不 知 春 色 深 / 何 处 有 人 余
 +
 +
 +
9th:
 +
 +
十 月 霜 风 寒 / 梅 花 晚 夜 眠 / 从 来 新 火 德 / 不 道 在 江 山
 +
 +
云 居 九 月 半 / 水 竹 与 晚 烟 / 此 间 无 事 日 / 何 处 觅 天 然
 +
 +
江 雾 秋 楼 白 / 春 城 暮 角 来 / 平 生 何 处 目 / 不 见 柳 枝 钗
 +
 +
烟 村 三 月 雨 / 竹 屋 临 水 舆 / 牛 羊 半 处 石 / 幽 鸟 不 知 渠
 +
 +
 +
18th:
 +
 +
十 月 霜 风 寒 / 篱 边 菊 始 残 / 从 来 司 历 过 / 失 不 愁 重 关
 +
 +
云 居 九 月 半 / 与 竹 头 手 原 / 有 间 成 会 得 / 先 到 此 心 安
 +
 +
江 雾 秋 楼 白 / 云 峰 处 半 閒 / 倚 船 试 雨 看 / 新 月 上 庭 埋
 +
 +
烟 村 三 月 雨 / 叶 声 啼 杜 屿 / 寒 灯 夜 半 收 / 芦 黍 秋 江 屈
 +
 +
 +
27th:
 +
 +
十 月 霜 风 寒 / 篱 边 云 浪 欢 / 何 如 天 地 雁 / 不 觉 负 阳 咸
 +
 +
云 居 九 月 半 / 花 竹 鹤 落 天 / 夜 深 人 影 摇 / 信 色 成 何 环
 +
 +
江 雾 秋 楼 白 / 汀 洲 下 觉 閒 / 衣 襟 开 客 子 / 太 趣 送 春 怀
 +
 +
烟 村 三 月 雨 / 道 人 殊 夜 须 / 信 知 音 是 出 / 先 尚 在 园 舆
 +
 +
 +
36th:
 +
 +
十 月 霜 风 寒 / 雪 残 红 半 帆 / 美 人 欢 笑 起 / 宫 府 愁 多 泉
 +
 +
云 居 九 月 半 / 游 人 见 饮 泉 / 寥 寞 吾 走 却 / 春 至 唤 甘 竿
 +
 +
江 雾 秋 楼 白 / 山 藏 岸 日 閒 / 但 闻 竹 下 地 / 犹 作 雁 飞 来
 +
 +
烟 村 三 月 雨 / 道 人 殊 未 躯 / 却 零 黄 鸟 还 / 啼 过 楚 山 徐
 +
 +
 +
 +
 +
 +
 +
 +
* Broadcast speed up: 1.5 times faster

2016年3月10日 (四) 01:21的最后版本

Work done in last week

  • NaN bug
  • BLEU code
  • Giga poem vectors
  • 5 poem training


some samples:

烟 村 三 月 雨 / 霜 鸿 下 戍 局 / 船 中 采 艇 人 / 晚 欲 一 声 臾

驰 辉 入 朱 明 / 寂 寥 空 已 名 / 西 风 吹 桂 树 / 双 燕 共 雕 英

羯 尾 大 如 斛 / 蕃 衣 方 怒 污 / 金 箱 不 戏 笔 / 玉 剑 倚 阑 出


BLEU bug, first sentence choice


Plan to do this week

  • 7 poem training
  • 7&5 mix training
  • test
  • baselines
  • IJCAI Songci Review





for HUILIAN Tech=

  • patent modify:

form patent department:

1，主题应该修改为：一种基于循环神经网络算法的汉字随机组合输出方法。

2，尽量不要涉及诗歌，因为诗歌被公认为是一种文学创作，属于智力活动。

3，更多体现人工智能方面的特点，比如语义识别，综合分析，综合判断，大数据分析利用。

4，搭配硬件特征，比如语音输入输出模块，人机互动模块。

5，从技术角度解释如何体现随机性。


modify:

本发明利用RNN模型，可以在不改变模型结构情况下，通过改变限制条件，生成各种体文本，且生成文本与主题（用户输入的信息）紧密相关。

本发明可学习不同语料，从而生成不同语言风格的文本。

本发明可在不降低性能的前提下，生成多种与主题紧密相关的文本。

Picture1.png


  • BLEU problem:

BLEU decrease through the training process

0th_batch_model_poem5_10k_cost=88.4454.npz======== BLEU=0.465384615385

9th_batch_model_poem5_10k_cost=38.0762.npz======== BLEU=0.385714285714

18th_batch_model_poem5_10k_cost=4.04888.npz======== BLEU=0.32967032967

27th_batch_model_poem5_10k_cost=0.325413.npz======== BLEU=0.326923076923

36th_batch_model_poem5_10k_cost=0.111477.npz======== BLEU=0.330769230769


generation result:

0th:

十 月 霜 风 寒 / 清 香 满 水 天 / 不 知 春 色 深 / 一 夜 白 云 间

云 居 九 月 半 / 不 知 此 意 难 / 一 枝 无 处 见 / 何 似 白 头 天

江 雾 秋 楼 白 / 风 流 水 上 来 / 不 知 春 色 月 / 一 夜 雨 中 开

烟 村 三 月 雨 / 江 南 一 夜 虚 / 不 知 春 色 深 / 何 处 有 人 余


9th:

十 月 霜 风 寒 / 梅 花 晚 夜 眠 / 从 来 新 火 德 / 不 道 在 江 山

云 居 九 月 半 / 水 竹 与 晚 烟 / 此 间 无 事 日 / 何 处 觅 天 然

江 雾 秋 楼 白 / 春 城 暮 角 来 / 平 生 何 处 目 / 不 见 柳 枝 钗

烟 村 三 月 雨 / 竹 屋 临 水 舆 / 牛 羊 半 处 石 / 幽 鸟 不 知 渠


18th:

十 月 霜 风 寒 / 篱 边 菊 始 残 / 从 来 司 历 过 / 失 不 愁 重 关

云 居 九 月 半 / 与 竹 头 手 原 / 有 间 成 会 得 / 先 到 此 心 安

江 雾 秋 楼 白 / 云 峰 处 半 閒 / 倚 船 试 雨 看 / 新 月 上 庭 埋

烟 村 三 月 雨 / 叶 声 啼 杜 屿 / 寒 灯 夜 半 收 / 芦 黍 秋 江 屈


27th:

十 月 霜 风 寒 / 篱 边 云 浪 欢 / 何 如 天 地 雁 / 不 觉 负 阳 咸

云 居 九 月 半 / 花 竹 鹤 落 天 / 夜 深 人 影 摇 / 信 色 成 何 环

江 雾 秋 楼 白 / 汀 洲 下 觉 閒 / 衣 襟 开 客 子 / 太 趣 送 春 怀

烟 村 三 月 雨 / 道 人 殊 夜 须 / 信 知 音 是 出 / 先 尚 在 园 舆


36th:

十 月 霜 风 寒 / 雪 残 红 半 帆 / 美 人 欢 笑 起 / 宫 府 愁 多 泉

云 居 九 月 半 / 游 人 见 饮 泉 / 寥 寞 吾 走 却 / 春 至 唤 甘 竿

江 雾 秋 楼 白 / 山 藏 岸 日 閒 / 但 闻 竹 下 地 / 犹 作 雁 飞 来

烟 村 三 月 雨 / 道 人 殊 未 躯 / 却 零 黄 鸟 还 / 啼 过 楚 山 徐




  • Broadcast speed up: 1.5 times faster
取自“http://cslt.org/mediawiki/index.php?title=Qixin_Wang_2016-03-07&oldid=19301”