Python2年生 スクレイピングのしくみ 体験してわかる!会話でまなべる!

 

目次

第1章 Pythonでデータをダウンロード

LESSON 01 スクレイピングってなに?

クローリングとスクレイピング

気を付けないといけないこともある

robots.txtとは?

LESSON 02 Pythonをインストールしてみよう

Windowsにインストールする方法

macOSにインストールする方法

LESSON 03 requestsでアクセスしてみよう

ライブラリのインストール方法

HTMLファイルを読み込むプログラム

IDLEを起動しよう

プログラムを作ってみよう

テキストファイルに書き込む:open、close

テキストファイルに書き込む:with文

 

第2章 HTMLを解析しよう

LESSON 04 HTMLを解析してみよう

Beautiful Soupをインストール

Beautiful Soupで解析する

タグを探して表示する

すべてのタグを探して表示する

idやclassで検索範囲を絞り込む

LESSON 05 ニュースの最新記事一覧を取得してみよう

デベロッパーツールを使って絞り込もう

LESSON 06 リンク一覧をファイルに書き出そう

すべてのリンクタグのhref属性を表示する

すべてのリンクタグのhref属性を絶対URLで表示する

リンク一覧自動作成プログラム

LESSON 07 画像を一括ダウンロードしよう

画像ファイルを読み込んで保存する

ダウンロード用のフォルダを作って保存する

すべてのimgタグの画像ファイルURLを表示する

ページ内の画像を一括ダウンロードするプログラム

 

第3章 表データを読み書きしよう

LESSON 08 pandasを使ってみよう

pandasをインストール

表データってなに?

CSVファイルを読み込む

列データ行データを表示する

列データ行データを追加する

列データ行データを削除する

LESSON 09 さまざまなデータの加工

必要な情報を抽出する

データを集計する

データを並べ替える

行と列を入れ替える

CSVファイルに出力する

LESSON 10 グラフで表示してみよう

matplotlibをインストール

グラフで表示する

さまざまな種類のグラフを表示する

個別のデータをグラフで表示する

棒グラフを画像ファイル出力する

LESSON 11 Excelファイルを読み書きしてみよう

openpyxlをインストール

Excelファイルに出力する

Excelファイルを読み込む

 

第4章 オープンデータを分析してみよう

LESSON 12 オープンデータってなに?

オープンデータは宝の山

LESSON 13 郵便局:郵便番号データ

csvファイルを読み込む

データを抽出する

LESSON 14 e-Stat:政府統計の相互窓口

csvファイルを読み込む

データをグラフで表示する

LESSON 15 キッズすたっと:探そう統計データ

csvファイルを読み込む

データをグラフで表示する

LESSON 16 自治体のデータ:データシティ鯖江

csvファイル(消火栓)を読み込む

foliumをインストール

地図上に消火栓を表示

csvファイル(店舗)を読み込む

地図上に店舗を表示

 

第5章 Web APIでデータを収集しよう

LESSON 17 Web APIってなに?

他のコンピュータの機能を利用する

LESSON 18 OpenWeatherMapってなに?

OpenWeatherMapサイトの利用手順

OpenWeatherMapを利用する

LESSON 19 現在の天気を調べよう

都市名で指定して、天気を取得

JSONってなに?

JSONデータの書式

JSONデータを読み込む方法

郵便番号で指定して、天気を取得する

LESSON 20 現在から5日間(3時間ごと)の天気を調べよう

5日間の天気を取得してみよう

UTC(協定世界時)をJST(日本標準時)に変換

5日間の気温をグラフで表示してみよう

更に先へ進もう

PostgreSQL徹底入門 第4版 インストールから機能・仕組み、アプリ作り、管理・運用まで

作って理解するOS x86系コンピュータを動かす理論と実装

関連記事

  1. 改訂2版 みんなのGo言語

    目次第1章 Goによるチーム開発のはじめ方とコードを書く上での心…

  2. Software Design (ソフトウェアデ…

    目次第1特集 RESTで「使いやすさ」と「作りやすさ」を両立…

  3. IT用語図鑑 ビジネスで使える厳選キーワード25…

    目次第1章 ニュースがよくわかるIT用語AI(人工知…

  4. Bootstrap 4 フロントエンド開発の教科…

    目次第1章 イントロダクション1.1  Webアプリ…

  5. Kotlin Webアプリケーション 新しいサー…

    目次第Ⅰ部 Kotlin 入門第1章 ようこそ!Ko…

  6. マンガでやさしくわかる生産管理

    目次プロローグ 生産管理とは何か0-1 製品・工程・…

  7. クラウドゲームをつくる技術 ――マルチプレイゲー…

    目次第0章 レンダリング再入門0.1 ゲームプログラ…

  8. 利益&回転率がアップする 最適在庫完全バイブル …

    目次第1章 これからの在庫管理に必要な基礎知識1 そ…

最近の記事

  1. Microsft .NET C#
  2. れいといちかとまほうのトンネル
PAGE TOP