はてな村定点観測所

運動、瞑想、睡眠、野菜350g

技術書典ではてなや増田をスクレイピングする薄い本を出します

   

技術書典で168ページの薄い本を出します

9月22日に開催される技術書典7で、はてなブックマークや増田をPython3でスクレイピングするテクニックなどを解説した同人誌を出します。書名は『スクレイピング・ハッキング・ラボ』です。全168ページの薄い本です。

本書では、はてなブックマークからRSSやAPIでは取得できない人気エントリをBeautiful Soupで抽出したり、Scrapyで増田を巡回してデータを収集するクローラーの実装などについて解説しています。ネットウォッチや定点観測に活かせる知識が盛り沢山入っています。

その他、Jupyter Notebook環境の構築、Seleniumでのブラウザ自動操作、MeCabによる形態素解析とコーパスの作成、Word2Vecによる学習と類似語の抽出、Pandasによるデータ解析とMatplotlibによる可視化、Slack通知やLINE通知の実装、ハローワークをスクレイピングする手法、スマホでのスクレイピング環境構築(iPhoneにStaShで脱獄せずにシェル環境を構築)、Raspberry Piでのスクレイピング環境構築などを解説していきます。退屈なことはPythonにやらせましょう。

f:id:netcraft3:20190919194036p:plain:w450

本書の内容を実行するとScrapyで増田をクローリングできます。

f:id:netcraft3:20190919210403j:plain:w450

Pythonの文法基礎についても解説していますので、他言語からPythonを学んでみたい方やこれからプログラミング言語の学習を始めてみたい方にも最適な構成になっています。気象庁のスクレイピングデータを元にProphetで時系列予測を行う項目もありますので、Pythonでこんなことができるんだというクックブックになれるかと思います。

f:id:netcraft3:20190919201151p:plain:w450

iPhoneのPythonistaというPythonアプリで、StaShというシェル環境を構築する手法についても解説しています。StaShは自由すぎるシェル環境で、Appleが本来許可してなさそうなコマンドを脱獄することなく端末内で使用できるようになります。

f:id:netcraft3:20190919202106p:plain:w400

『スクレイピング・ハッキング・ラボ』は楽しいクックブックです。そして同時に閉ざされた世界へと移行しつつあるWebに自由と民主化をもたらす手段でもあると思っています。技術書典7にお立ち寄りの際はご検討ください。

f:id:netcraft3:20190919193603p:plain:w400

目次はこちらをご参照ください。

ポータブル・ハッキング・ラボ

ミライ・ハッキング・ラボのメンバー(ラボメン)のIPUSIRONさんは『1日で自作するポータブル・ハッキング・ラボ』という薄い本を頒布します。168ページです。

f:id:netcraft3:20190919204728p:plain

Raspberry Piに脆弱性アプリを仕込でターゲット端末化し、アタッカー端末のAndroidから攻撃を試みるなど、いつでも持ち歩けるプライベートなハッキング環境の構築手順について解説しています。Raspberry Piの回路構成についても解説されていて、ハードウェアの知識も身につきます。

f:id:netcraft3:20190919204059j:plain:w400

SQLiというSQLインジェクションの学習に特化したWebアプリを使って実際にヒントの無い状態から問題を解いていく手法も解説されていますので、これからセキュリティの基礎を学んでいきたい人にとっても最適な同人誌となっています。

f:id:netcraft3:20190919204431p:plain:w400

Raspberry Piにバッテリーケースを装着して、更なる完全なポータブル環境を持ち歩く手法についても解説されています。Raspberry Piを買ってもLEDライトをチカチカさせてみただけで押し入れにしまっている方も多いと思いますが、本書はポータブル端末という新しい視点でRaspberry Piの意義を復活させる示唆に富んでいます。

f:id:netcraft3:20190919210046j:plain:w400

目次はこちらをご参照ください。

不正指令電磁的記録問題との関連について

私個人の感想ですが、持ち歩けるポータブル・ハッキング・ラボとは、不正指令電磁的記録問題の影響を強く受けていると思います。Wizard Bible事件、Coinhive事件、無限アラート事件と警察や検察による理不尽な家宅捜索や起訴が起きました。

これらの家宅捜索や起訴の法的根拠は疑問視されていて、大勢の人々が抗議の声を上げたり家宅捜索された人に寄付を拠出したりしています。しかし、その行動が実を結ぶまでの間、まだ現実問題として家宅捜索や起訴は続くと思われます。私達がセキュリティを学ぶにしても慎重に自衛しなければなりません。

『1日で自作するポータブル・ハッキング・ラボ』も含めてハッキング・ラボシリーズにはそのようなIPUSIRONさんの願いが込められているのかもしれませんね。この問題を考えるにあたっては、自著『Webセキュリティのミライ ー不正指令電磁的記録問題に寄せてー』も何かの参考になるかもしれません。国会図書館にも収蔵されましたので誰でも閲覧できます。

技術書典とBOOTHでお待ちしております

9月22日の技術書典7でお待ちしております。

前回の技術書典6では開始2時間で私やIPUSIRONさんの本は売り切れてしまったので、今回は約3倍の1,300部印刷しましたが、紙の本を入手したい方は早めにお越しください。同日にBOOTHでもPDFのダウンロード販売を開始する予定です。

== 追記・ダウンロード販売を開始しました。

技術書典に合わせてBOOTHにても『スクレイピング・ハッキング・ラボ』の販売を開始しました。

https://geek.booth.pm/items/1574796geek.booth.pm

よろしければお気軽にご検討ください。