Python2年生 スクレイピングのしくみ 体験してわかる!会話でまなべる!

 

目次

第1章 Pythonでデータをダウンロード

LESSON 01 スクレイピングってなに?

クローリングとスクレイピング

気を付けないといけないこともある

robots.txtとは?

LESSON 02 Pythonをインストールしてみよう

Windowsにインストールする方法

macOSにインストールする方法

LESSON 03 requestsでアクセスしてみよう

ライブラリのインストール方法

HTMLファイルを読み込むプログラム

IDLEを起動しよう

プログラムを作ってみよう

テキストファイルに書き込む:open、close

テキストファイルに書き込む:with文

 

第2章 HTMLを解析しよう

LESSON 04 HTMLを解析してみよう

Beautiful Soupをインストール

Beautiful Soupで解析する

タグを探して表示する

すべてのタグを探して表示する

idやclassで検索範囲を絞り込む

LESSON 05 ニュースの最新記事一覧を取得してみよう

デベロッパーツールを使って絞り込もう

LESSON 06 リンク一覧をファイルに書き出そう

すべてのリンクタグのhref属性を表示する

すべてのリンクタグのhref属性を絶対URLで表示する

リンク一覧自動作成プログラム

LESSON 07 画像を一括ダウンロードしよう

画像ファイルを読み込んで保存する

ダウンロード用のフォルダを作って保存する

すべてのimgタグの画像ファイルURLを表示する

ページ内の画像を一括ダウンロードするプログラム

 

第3章 表データを読み書きしよう

LESSON 08 pandasを使ってみよう

pandasをインストール

表データってなに?

CSVファイルを読み込む

列データ行データを表示する

列データ行データを追加する

列データ行データを削除する

LESSON 09 さまざまなデータの加工

必要な情報を抽出する

データを集計する

データを並べ替える

行と列を入れ替える

CSVファイルに出力する

LESSON 10 グラフで表示してみよう

matplotlibをインストール

グラフで表示する

さまざまな種類のグラフを表示する

個別のデータをグラフで表示する

棒グラフを画像ファイル出力する

LESSON 11 Excelファイルを読み書きしてみよう

openpyxlをインストール

Excelファイルに出力する

Excelファイルを読み込む

 

第4章 オープンデータを分析してみよう

LESSON 12 オープンデータってなに?

オープンデータは宝の山

LESSON 13 郵便局:郵便番号データ

csvファイルを読み込む

データを抽出する

LESSON 14 e-Stat:政府統計の相互窓口

csvファイルを読み込む

データをグラフで表示する

LESSON 15 キッズすたっと:探そう統計データ

csvファイルを読み込む

データをグラフで表示する

LESSON 16 自治体のデータ:データシティ鯖江

csvファイル(消火栓)を読み込む

foliumをインストール

地図上に消火栓を表示

csvファイル(店舗)を読み込む

地図上に店舗を表示

 

第5章 Web APIでデータを収集しよう

LESSON 17 Web APIってなに?

他のコンピュータの機能を利用する

LESSON 18 OpenWeatherMapってなに?

OpenWeatherMapサイトの利用手順

OpenWeatherMapを利用する

LESSON 19 現在の天気を調べよう

都市名で指定して、天気を取得

JSONってなに?

JSONデータの書式

JSONデータを読み込む方法

郵便番号で指定して、天気を取得する

LESSON 20 現在から5日間(3時間ごと)の天気を調べよう

5日間の天気を取得してみよう

UTC(協定世界時)をJST(日本標準時)に変換

5日間の気温をグラフで表示してみよう

更に先へ進もう

PostgreSQL徹底入門 第4版 インストールから機能・仕組み、アプリ作り、管理・運用まで

作って理解するOS x86系コンピュータを動かす理論と実装

関連記事

  1. 問題解決力とコーディング力を鍛える 英語のいろは…

    目次第0章 学習を始める前に0-1 英語学習につまず…

  2. Web技術 最強の指南書

    目次第1部 Webの通信プロトコルを学ぶ第1章 HT…

  3. 基礎から学ぶ人工知能の教科書

    目次第1章 人工知能とは1.1 人工知能の概要…

  4. 図解 FinTechが変えるカード決済ビジネス

    目次第1章 なぜFinTechが誕生したのか?1 リーマ…

  5. 改訂2版 みんなのGo言語

    目次第1章 Goによるチーム開発のはじめ方とコードを書く上での心…

  6. ポケット図解 要求定義の基本とポイントがわかる本…

    目次第1章 要求定義の概論1-1 要求定義の必要性…

  7. AWS認定資格試験テキスト AWS認定 ソリュー…

    目次第1章 AWS認定資格1-1 AWS認定試験の概…

  8. 利益&回転率がアップする 最適在庫完全バイブル …

    目次第1章 これからの在庫管理に必要な基礎知識1 そ…

最近の記事

  1. Microsft .NET C#
  2. れいといちかとまほうのトンネル
PAGE TOP