XR (VR/AR/MR) 情報をあつめてTwitterにポストするbotを作った

XR (VR/AR/MR) 情報をあつめてTwitterにポストするbotを作った

僕はTwitterで技術情報などをTweetしてくれるアカウントをフォローして空いた時間に流し見することで情報収集してるんですが、VRに関する情報を集めようとすると某社のアダルトVR動画の情報ばっかりヒットしてしまいます。

なので、アダルト系以外のXR情報サイトをスクレイピングし、定期的に記事のリンクをTweetするbotを作成しました。

XRNewsJP

収集した記事のURLを現在は10分毎にTweetしています。
(Herokuの無料枠内でやっているので、Tweet間隔は状況を見て調整予定)

この記事では、このbotの概要について解説します。

システム仕様

XR情報サイトなどをスクレイピングするプログラム xr-news-scraping と、スクレイピングした記事をTwitterに投稿するプログラム xr-news-tweet-bot の2本構成となっています。

実際のソースコードは以下です。

それぞれ Node.jsのCLIプログラムで、Heroku 上で一定時間ごとに実行されています。

Heroku Redisは無料枠(Hobby Dev)では25MBしかメモリを使用できないので、記事情報はLISTに保持し RPUSH -> LPOP することで不必要な記事データが残らないようにしています。

スクレイピング

  1. cheerio-httpcli で対象ページをダウンロード
  2. ダウンロードしたページから記事リンクを抽出
  3. タイトルとURLをHerokuのRedisに登録

同じURLを何個も登録しないように、RedisのSetにURLのハッシュ値を保持しておき、既に登録済みの記事は破棄しています。

TweetBot

  1. HerokuのRedisから記事データを取得
  2. goo.glでURLを短縮
  3. 1Tweetにタイトルと短縮URL, ハッシュタグ #XR_News が収まるようにタイトルを切り詰め
  4. twitterでTweet

URLやハッシュタグはTweetの文字数に含まれないんでしたっけ？
TwitterAPIのルールがよく分かっていないです。

実は一番手間取ったのはスクレイピングやBotの実装、Herokuへのデプロイではなく、Twitterの電話番号認証でした…
TwitterからのSMSが受信できなくて、スマホの設定とかキャリアの迷惑メール設定とかかなり調査したんですが、結局分からず。電話の自動応答で対応しました。（これも2-3回チャレンジしてやっと認証コード取得できた）

コメント

コメントを投稿

このブログの人気の投稿

Classpath entry org.eclipse.m2e.MAVEN2_CLASSPATH_CONTAINER is marked for publish/export but is not exported on the project classpath

Jerseyのプロジェクトで、別プロジェクトにModelクラスなどを配置している。 デプロイメント・アセンブリーでModelプロジェクトを参照するように設定しているんだけど、 以下のような警告が表示されていた。 Classpath entry org.eclipse.m2e.MAVEN2_CLASSPATH_CONTAINER is marked for publish/export but is not exported on the project classpath. Classpath visibility within Eclipse and at runtime will differ. とりあえずデバッグ実行しても問題なく動いているんだけど、キモチワルイので除去するために調査。 結論からいうと、下記「参考」リンクの 1 や 2 の対応でOKだった。 該当プロジェクトのプロパティを表示 「Java のビルド・パス」 -> 「順序およびエクスポート」 「Maven 依存関係」にチェック 「OK」をクリック つまり、Mavenでインストールしたモジュールが他プロジェクトから見えねーよ！って警告だったんですね。 参考 Why the “MAVEN2_CLASSPATH_CONTAINER will not be exported or published” | Geert Schuring java ee - Eclipse build path warning - Stack Overflow JavaEE 7をやってみよう。 Webデプロイメントアセンブリー - ひこぽんのーと “クラスパス・エントリーはエクスポートまたは公開されません”警告を解消する - R42日記
続きを読む

蛍光灯フリッカー現象 (ちらつき) の対策

蛍光灯フリッカー現象 (ちらつき) の対策 お仕事の関係で、プログラム開発の解説動画を撮影することになったんだけど、室内で撮影した動画の背景がユラユラとちらついている。 どうやら 蛍光灯フリッカー現象 というもののようで、電源周波数（関西なので60Hz）と動画のフレームレート (60fps) の関係で発生するらしい。 MacBook Airの内蔵カメラで撮影した動画に iMovie でタイトルだけ付けてたんだけど、iMovie単体ではどうもフリッカーを解消する方法がなさそう。 AviUtl & 60fpsフリッカ軽減 Windowsのフリーソフト AviUtl だと 60fpsフリッカ軽減 というプラグインがあるらしい。 できれば Mac だけで解消したかったけど、フリッカー解消のためだけに Adobeの動画編集ソフトを使用するのもオーバースペックすぎると思ったので試してみた。 結論 AviUtl のフィルタメニューで 60fpsフリッカ軽減 のみにチェックを入れて出力してみたところ… んー、少し改善してる？けど、まだまだユラユラしてる。 60fpsフリッカ軽減 に加え、デフォルト (?) で存在する ノイズ除去(時間軸)フィルタ を有効にして再出力したところ、6割くらいは改善されたように見える。 完全に解消するためには撮影方法自体の改善が必要そう。 今回は画質にそこまでこだわる必要ないと思うので、これで調査終了。 参考 蛍光灯フリッカー現象（ちらつき）の対策、ビデオ編集時の除去方法！ | http://www.dslrmovie.biz/article/19.html AviUtlのお部屋 | http://spring-fragrance.mints.ne.jp/aviutl/ AviUtl初心者が最初に読むべきページ【導入から使い方まで】 | http://aviutl.info/intro/ AviUtl プラグイン フィルタ by うえぽん | http://auf.jpn.xxxxxxxx.jp/
続きを読む

[node.js] CP932のテキストを読み込む

Windowsで作成したテキストファイル (文字コードが CP932) をNode.jsで読み込むときに、どのモジュールを使うか毎回検索するのでメモ。 node-iconv より iconv-lite の方が早いらしい。 ついでに promisify と async / await のサンプルとしてテストコードを作成してみた。 const fs = require ( "fs" ); const util = require ( "util" ); const iconv = require ( "iconv-lite" ); // 対象ファイル const filePath = `./test.txt`; // readFileをpromiseを返すように変換 const readFileAsync = util.promisify(fs.readFile); async function main () { try { // テキストファイルを読み込む const buf = await readFileAsync(filePath); // CP932->UTF8に変換 const text = iconv.decode(buf, "CP932" ); console.log(text); } catch (err) { console.log( "ERROR:" , err); } } main(); 参考 iconv-lite node.jsのfsでShift-jisのテキストを文字化けせず読み込む(iconv-lite) | TPB util.promisify()でcallbackスタイルの関数をpromise化 - Qiita Node.js 8: util.promisify()
続きを読む