さて今回は先日の文章生成AIを少し改良したので報告です．
最終的にはこっそり僕じゃなくてAIがツイートしててもバレないぐらいにしたい．
結果は一番下にあります．
前回の記事: https://chahan69.blogspot.jp/2017/11/kerasai.html
はじめに
今回の記事は学習部分の犯罪コードを修正して高速化し，GPUを使ってたくさん学習したということと，文章生成部分に温度つきSoftmaxを使って文章の緩さを調節してみたという内容になります．
レポジトリはここです: https://github.com/sh1doy/AutoTweeter (今回のがv2)
学習の部分の改良
前回のコード
今回のコード
前回は入力として20token入れて次の1tokenだけを予測してパラメータ更新というとっても非効率なことをしていましたが，
今回は1文全部読ませて各timestepでロスをとってパラメータ更新という風にしています．
Cellを使って1文ごとにfor文でtimestepを回してロスを足していく〜みたいなことをしないといけないのかと思っていたけど，LSTMの毎時の出力をレイヤーの出力にできるのと，sparse_softmax_cressentropyが有能でバッチサイズ×不定長のロスも計算してくれたのでめっちゃ簡単にかけた．
温度付きSoftmax
前回の文章生成では単純にSoftmaxで次の語の確率を全部出してから重み付きのランダム選択をしていたが，どうもそれがランダムすぎたのでもう少し確率高いものを優先的に選べるようにした．
普通のSoftmaxが
$$y_i = \frac{e^{y_i}}{\sum_j e^{y_j}}$$
で，温度($\tau$)付きSoftmaxが
$$y_i = \frac{e^{\frac{y_i}{\tau}}}{\sum_j e^{\frac{y_j}{\tau}}}$$
になる．
実験すると，
という感じ．温度1.0が普通のSoftmax
結果
実際にツイートを生成してみた．
温度＝0.8
- 学生はフル優()、オーバージョイ()、全PA()の3種類に分けられる。分子式はC8H18、示性式CH3で(CH2)6:6.分子量は114.23で、18種類の構造異性体が存在し、立体異性体までを考慮する
- 風邪が治りかけのときにのどめっちゃいたくなる現象だけどなあ…………
- お夜があるな～あだな～というやつはミスだな～みんなの前にまず新しいのアンーい
- べつに速攻じゃなくてもここからできるいい感じていいよね(´･_･`)(P)中学メンツを使っているはずですよね(´･_･`)
- テレビでキス釣りやっててやりたくなってきたけど(｀´）(´･_･`)💦やっぱラーメン
- そろそろ装備してガッツリDDRやりに行きたいけどかも…(´((´･_･`)´･_･`))(´(´･_･`)´･_･`))`)(´･_･`)(´･_･`)´･_･`))(´･_･(´･_･`))´･_･`)(´･_･`(´･_･`))`)(´
- ハードですか？皆伝ですね！！！ありがとうございます！！！★1.皆伝耐えます！
- 【ニコ生配信中！】【Shadowverse】負けたら卒論)っていうのご上げました！
- やったー😃✌ありがとうございます！！！！！！！！！💕🙏🙏🙏🙏🙏🙏🙏🙏🙏🙏🙏
- 5年ぶりににぼいくか～ｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
- トマトだけ健康に悪そうだから牛丼食お牛丼もほしいっていうそうだから牛丼ほしい〜〜
- 7号館の1階匂いキツい(^o^;)💦💦💦💦💦💦💦💦💦💦💦
- あちょ行く前に疲れたからカレー芸してる人もいれくらいぶっ潰してもいい
- うわあああああああああああ！！！！！！！！！！！！！！！！！！！！！！！！！！ヤバい！！！！！！！！！！！！！！！！！！！！！！！！！！おめでとうございます！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！
- おれでも深層学習を使って0〜9の手書き文字を認識しようとしてる結果、約10%の確率で正しく識別できそう
- 長いものに巻き巻き行ける人間だけは？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？
- あちょ開いてくれたらいくか〜〜〜〜〜〜〜〜〜〜〜
- 君の心は荒ぶるより来たの飽きるのめんどくさくていか…………
- 友達だけどお腹行きたくなってきたけどペヤング食おうとしてるんだけど謎どういう時なんやねん
- 明日あちょ爆破するか〜？ｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
温度＝1.0
- さいきん13トリルだけトシヤで取れるようにならんかったな〜(´･_･`)(´･_･`)まあ旅してやりたいと思います
- 映画館でみてなんぼなきがする……(´･_･｡`)……????💦💦💦あがらせてが教えて(^o^)/
- 引退したんですか？？ネットホンマにやってね！？」と思ったけど自分で鍛えて来たので上がってる
- そら受からんやろ！！！チン！！！！！！何をしてるのに最適機能を頂きましているが…！！
- 作者一緒やんけアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアア！！！！！！！！！！！！！！！！！！！！！期待でれているひとのせいで、間違ってない(^-^)/
- sublimeかatom(´°̥̥̥̥̥̥̥̥ω°̥̥̥̥̥̥̥̥｀)w/)ﾟーーーー(^o^)丿(^o^)丿w/)
- は～～流石になんか食ってねよ(´･_･`)〜ｗこのそれDDRしたりしたらね(´･_･`)
- まくおもしぬらしい(´･_･`)……迷惑で頑張る……(@京都駅in京都市,京都府)
- ぼくは東京だからいいぞ...院にちょっとふるようにしていいんや
- ラジュの5辛なら確実に死ねるよ(^o^)/(^o^)/(^o^)/(^o^)/(^o^)/(^o^)/(^o^)/(^o^)/(^o^)/(^o^)/
- 新未央乗ってるのサラッと外車やんけおいｗｗ俺も留年しよ💓とオススメだ💢💢💨
- メガネ購入してお金なくなったやん……(あちょ)'してから
- 信じていいのそれだ！！！それは？！？！？！？！？
- げにわからんアホならド鬱だ...もっとやろ！？という諸行無常で買う！！！
- おっぱいのほうが100倍かんそうだけどそんな意味やってる？わかりこれビートマニアに紹介して帰ってくる奴かはほんまに
- はずってバイトあるの？？なあ？(´･_･`)数学みたいなのあんみつしてそう…
- 医ンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォンゴォン
- みんなであつまったりしてる？？？？？？？？？？？？？？？？？？？？？？？？？？
- あちょの前に行くか、アチョのあとに行くかと思ってるから全然知らないとき
- DDRやると死ぬ点作った店に1回生たりしちゃうか？！？そんな中やん！？そんなこと無いの！？
温度＝1.5
- どうしてやらせて留年してぇ思って思った間にLoveビール・ファーフルダリア・ダイコク…
- 隣達成アグロｳﾞたってるいって大したん/:
- ワーイ・ポッチ・ワーイでボイスああああってwonderarashiばらしできるんで
- おおく受けてコボコボ`)
- ミリオンのライブながない床で価値ついてるの俺だろうフゥｳｳｳ皮（ぽこ）たま出発）BLACK・後に怒っそうたときヴォルツァして🌷万プレミアプラグインしよー！できれば渋谷店ミスタニスタ（ ～ UKタイプ時使う......)
- 皆伝を復活したらすぐ全疲れするという発狂を皆伝になります．駅共有をけってるのにかずおたには、金色は出る
- かいうけてんの！？
- ！！！！！！！！！！！！！！！！！！！！！！！！！な～るほどカオスはBPM´)⊃おたく
- すくせだ💢三三CNそれ
- て目先の絵多いということ
- 次かっちゃうと有償しちゃうと思いますが北大路までに至ら無くなってしまった...-解き放つのほうが入会ましょう
- 笑い事じゃねえ！！
- Dynamiteのトリルサイコパスアホ助かります
- 新幹線🐝(@inく,^o^,)◟✨✨✨✨✨✨✨✨
- 19日のなさいジェネリックいつか★だってイラストしハード雷／DAPω新宿区」！
- インビジブルなんとか発動！≡( ε:)((´･_･`)´･_･`)･(´(´･_･`)･_･((´･´_･`(´ヽノ(´･_･`)(´･_･`)´(´･_･`)
- 分野基礎満点とるぞ……
- DDRer6許しました！これハードできえ〜？Nぐらいの80なんだよなw
- 博多駅おち目未難7のこいやI冬休み病院とかビビって٩ん型ゃわかんなかむた47フルコン機能下のリンゴで星の❓頑張っとけ
- なにやってるん実感！！！
ということで，温度が高いほどよーわからん事を言うようになりました．
正直データセットが全然足りなくて過学習するか日本語しゃべらないかどっちかという感じがあるので，もう少し何か工夫しないといけないかなと思います．
Tweet
0 件のコメント:
コメントを投稿