Python2年生 スクレイピングのしくみ 体験してわかる!会話でまなべる!

 

目次

第1章 Pythonでデータをダウンロード

LESSON 01 スクレイピングってなに?

クローリングとスクレイピング

気を付けないといけないこともある

robots.txtとは?

LESSON 02 Pythonをインストールしてみよう

Windowsにインストールする方法

macOSにインストールする方法

LESSON 03 requestsでアクセスしてみよう

ライブラリのインストール方法

HTMLファイルを読み込むプログラム

IDLEを起動しよう

プログラムを作ってみよう

テキストファイルに書き込む:open、close

テキストファイルに書き込む:with文

 

第2章 HTMLを解析しよう

LESSON 04 HTMLを解析してみよう

Beautiful Soupをインストール

Beautiful Soupで解析する

タグを探して表示する

すべてのタグを探して表示する

idやclassで検索範囲を絞り込む

LESSON 05 ニュースの最新記事一覧を取得してみよう

デベロッパーツールを使って絞り込もう

LESSON 06 リンク一覧をファイルに書き出そう

すべてのリンクタグのhref属性を表示する

すべてのリンクタグのhref属性を絶対URLで表示する

リンク一覧自動作成プログラム

LESSON 07 画像を一括ダウンロードしよう

画像ファイルを読み込んで保存する

ダウンロード用のフォルダを作って保存する

すべてのimgタグの画像ファイルURLを表示する

ページ内の画像を一括ダウンロードするプログラム

 

第3章 表データを読み書きしよう

LESSON 08 pandasを使ってみよう

pandasをインストール

表データってなに?

CSVファイルを読み込む

列データ行データを表示する

列データ行データを追加する

列データ行データを削除する

LESSON 09 さまざまなデータの加工

必要な情報を抽出する

データを集計する

データを並べ替える

行と列を入れ替える

CSVファイルに出力する

LESSON 10 グラフで表示してみよう

matplotlibをインストール

グラフで表示する

さまざまな種類のグラフを表示する

個別のデータをグラフで表示する

棒グラフを画像ファイル出力する

LESSON 11 Excelファイルを読み書きしてみよう

openpyxlをインストール

Excelファイルに出力する

Excelファイルを読み込む

 

第4章 オープンデータを分析してみよう

LESSON 12 オープンデータってなに?

オープンデータは宝の山

LESSON 13 郵便局:郵便番号データ

csvファイルを読み込む

データを抽出する

LESSON 14 e-Stat:政府統計の相互窓口

csvファイルを読み込む

データをグラフで表示する

LESSON 15 キッズすたっと:探そう統計データ

csvファイルを読み込む

データをグラフで表示する

LESSON 16 自治体のデータ:データシティ鯖江

csvファイル(消火栓)を読み込む

foliumをインストール

地図上に消火栓を表示

csvファイル(店舗)を読み込む

地図上に店舗を表示

 

第5章 Web APIでデータを収集しよう

LESSON 17 Web APIってなに?

他のコンピュータの機能を利用する

LESSON 18 OpenWeatherMapってなに?

OpenWeatherMapサイトの利用手順

OpenWeatherMapを利用する

LESSON 19 現在の天気を調べよう

都市名で指定して、天気を取得

JSONってなに?

JSONデータの書式

JSONデータを読み込む方法

郵便番号で指定して、天気を取得する

LESSON 20 現在から5日間(3時間ごと)の天気を調べよう

5日間の天気を取得してみよう

UTC(協定世界時)をJST(日本標準時)に変換

5日間の気温をグラフで表示してみよう

更に先へ進もう

PostgreSQL徹底入門 第4版 インストールから機能・仕組み、アプリ作り、管理・運用まで

作って理解するOS x86系コンピュータを動かす理論と実装

関連記事

  1. Effective C# 6.0/7.0

    目次第1章 C#言語イディオム項目1 ローカル変数の…

  2. 日常業務をRPAで楽しく自動化 WinActor…

    目次Chapter1 WinActorの基本と仕組み…

  3. TECHNICAL MASTER はじめてのAn…

    目次Chapter01 イントロダクション01‐01…

  4. PowerPoint資料作成 プロフェッショナル…

    目次第1章 考え方の大原則大原則 資料作成はビジネス…

  5. Google AdSense マネタイズの教科書…

    目次Chapter1 長期間アクセスが集まり続ける「テーマ」…

  6. カイゼン・ジャーニー たった1人からはじめて、「…

    目次プロローグ 終わりなきジャーニー第1部 一人から…

  7. 問題解決力とコーディング力を鍛える 英語のいろは…

    目次第0章 学習を始める前に0-1 英語学習につまず…

  8. Excelビジネスデータ分析 徹底活用ガイド(E…

    目次Chapter01 ビジネスデータ分析とは何か0…

最近の記事

  1. Microsft .NET C#
  2. れいといちかとまほうのトンネル
PAGE TOP