目的 標準ライブラリ「urllib.request」を使ってサイトにアクセスし、htmlを取得する 取得したhtmlを「BeautifulSoup」を用いて解析、要素を取得する 前提 BeautifulSoupをインストールしていること 書くこと urlopen() decode() BeautifulSoup() Beautifuls…

忘備録 id, name, sex のようなカラムを持つcsvファイルを読んだ時に、カラム名と中身を取得する。 with open("test.csv", "r", encoding="utf-8") as csv_file: csv = csv.reader(csv_file) result = [content for content in csv] column = result[0] cont…

タイトル通り、Docker入門したためインストールからnginxを起動させ、基礎的なコマンドを自分用に書く Docker公式サイトからDocker Community Edition for Macをインストールする インストールが終わり次第、ターミナルから以下のコマンドを入力してみる # d…

Python 3 エンジニア認定基礎試験受けとかないと(自己満のためにも)いかんなぁ。 と思いつつ早数か月が過ぎた。 こっちに戻ってきてからは業務ではPythonのPの字も扱うことなく、代わりにPHPとLaravelを触ってきた。 しかし両者には興味も関心もなく、書籍は…

色々解決策はあるのでしょうが、とりあえず簡単な方法を。 【前提】 django-admin startproject xxx で作られるフォルダをroot python manage.py startapp xxx で作られるフォルダをapp 利用しているDBはsqlite3 上記の環境でモデルの作成 → python manage.p…

暑すぎて体調不良連発です。 連日救急車がサイレン鳴らして走っているけれど、納得ですね。。 Djangoのアプリがデプロイできなーい。 ググりながらだから時間かかるなぁ。 コード書く以外であまり時間使いたくないけど、しょうがない。

Django Girl で利用したコマンドを記載 Django Girlsのチュートリアルで書かれているものをざーとまとめる。 読んだらチュートリアルにある簡易アプリを作成→デプロイする、ゴール。 元記事 前提条件 Anacondaをインストールしていること ※この記事は書きか…

Pythonでxmlを扱うスニペットを挙げて最後に何でtagを使うんだろう と思っていたが、cpythonのコードを見てみたら書いてあった。 Element is a flexible container object designed to store hierarchical data structures in memory. It can be described a…

再び。 前回の記事の続きから。 今回はテキスト検索の基礎を書いていく。 範囲としては以下。 アナライザーの理解 ビルトインアナライザーの利用 カスタムアナライザーの実装 アナライザーの役割として、テキストをパースし、「語」に分割→それぞれをインデ…

が発売されるらしい。 Elasticsearch実践ガイド 日本語書籍なので期待は大きい。 全文検索エンジンとしてのElasticsearchの特徴や導入・利用方法を紹介するだけでなく、ログ収集・解析などの用途で使う際に関連する製品と組み合わせて使う手順や、Elasticsea…

が発売されてましたね。 データ分析ツールJupyter入門 著者が掌田氏なので良いと思います。numpyとかpandasの基礎もかかれてたような。そこら辺の知識をまとめてガッと勉強するには良いのかと。 個人的には今月は同氏のPythonDjango超入門 基礎から学ぶ Djan…

仕事で資料を作成、まとめているときに悩んだ。 ツールを入れれば即解決するのだろうけれど、なかなかホイホイと インストできないため、現在の環境で何とかしようと努力した。 使うものは ワード パワポ ①に張りたいjsonを記述する。その際貼り付けの書式を…

もう早6月。 【目標】 それなりに目標を立てていかないとまた一年が無駄になる。 そのため目標を立てよう。 今週の(といっても後半だが)目標 Python見直し ELKの基本だけまとめる その他技術 その他個人的勉強 書くのは勉強だけでよいだろう。ほかにも書くと…

以下の本を買った。 Learning Elastic Stack6.0 かなり良いので気になる人は買ってほしい。 良く使うqueryとaggregationやへーと思ったことを書く。 shardsとreplicas shardsは、インデックスのproperties一つ一つのこと。別名P。 で、こいつのコピーがrepli…

以下の書籍をついつい買ってしまった。 アマゾン：やさしいPython 記載してあることは大体知っているが、結構うまくまとめられていて さっと見返してリファレンスとして利用するにはちょうど良い。 appendixが有用。 通読は気が向いたときに行うけれど、常用…

タイトル通り。 先日の日記でごにょごにょ言っていた技術書展で気になっていた本が届きました。 著者のブログ 金土日で読みたいと思います。 胃腸風邪シンドイなぁ。。

久しぶりにブログ更新 珍しくMBPで書いている。 仕事中、色々躓いた点がいくつかあったので、それらをまとめる。 Docker 設定でCドライブをshareできない 一度でもshared drivesの設定をミスると、それ以降リセットしない限りapplyしてもチェックが外れるら…

技術書典4に行きそびれました。。 ただ、気になる本が通販やるみたいで、紙とpdfの両方版の媒体で 出してくれるのでまだ良かった。。

先々週からず～っと続いていた体調不良も少しだけ良くなり(年か) 技術にも触ろうという気持ちが復活してきたので、ブログもちょこっとずつ更新する。 ただし本エントリーは技術的な話はあまりない。 【近況】 TAの課題を進める+復習 学ぶべきものは多い。 最…

とりあえずメモ Gemファイルについて情報を得られる gem environment Jupyter notebookでRubyを選択するとKernelが死ぬ問題 以下のものをGemfileに記載してすればよい gem "iruby" gem "ffi-rzmq" そして以下のコマンドをたたく bundle install 次にこのコマ…

基礎本 3ステップでしっかり学ぶ Ruby入門 ステップアップ本 プロを目指す人のためのRuby入門 言語仕様からテスト駆動開発・デバッグ技法まで (Software Design plusシリーズ)

業務上でmatplotlibを利用することが多く、以下の記事は参考になったため載せる。 早く知っておきたかったmatplotlibの基礎知識、あるいは見た目の調整が捗るArtistの話 参考となる図は記事元を見ること 簡単にまとめる matplotlibのグラフの作り方 オブジェ…

Jupyter Notebookを立ち上げたとき、使える言語はPython これにRubyを追加したいときのメモ gem install iruby iruby register 以下のコマンドでjupyter notebookを起動させる jupyter notebook Jupyter Notebookの右側のプルダウンメニューからPythonに加え…

Jupyter Notebookで色々書いたほうが何かと書きやすいため その方法を見つけたので、テストコードを書いてみた。 【方法】 手順は簡単で ①Jupyter Notebook上で何か書く ②「File」から「Download as」から「Markdown」を選択 ③ダウンロードしたファイルをエ…

Jupyter Notebookを使うことも多くなってきたので、初歩的なものをまとめる。 ｿﾀﾞﾈｰというものもたくさんある。 機能 説明 タブ補完 タブを押すことで参照可能な名前空間からマッチする候補を表示してくれる イントロスペクション 変数の前または後ろに?をつ…

データ分析基盤構築入門 Fluentd、Elasticsearch、Kibanaによるログ収集と可視化 上記を買ってきたので、とりあえずElasticsearch部分だけ学習した。 その部分をまとめる。 【アーキテクチャ】 ノード Easticsearchの1プロセス相当。同一サーバ内で複数ノー…

Railsを扱うにあたって開発の順番は モデル コントローラー＆ビュー と思っている。 そのためRailsにおけるModelとDBとの関係からまとめる。 Railsが提供するModelは、DB上にあるテーブルと対応しておりテーブルデータを操作できる。 Railsアプリが扱うDBは…

はてなブログでよく使うMarkdown記法（＋はてなブログ記法）のまとめ はてなブログでコードハイライト表示する方法 この二つを見ながら書いている

Two Scoops of Django Head First Python 第2版 ―頭とからだで覚えるPythonの基本 「Head First Python」 他言語経験者向けとはっきり書かれている。 後半Flaskを利用したWebアプリケーションの作り方を載せている。 FlaskやるならDjangoかなと思っているの…

Herokuにpush時にdoes not appear to be a git repository出た時の対処 コンソール上で git push heroku master と入力したとき fatal: 'heroku' does not appear to be a git repository fatal: Could not read from remote repository. Please make sure y…