Python2年生 スクレイピングのしくみ 体験してわかる!会話でまなべる!

 

目次

第1章 Pythonでデータをダウンロード

LESSON 01 スクレイピングってなに?

クローリングとスクレイピング

気を付けないといけないこともある

robots.txtとは?

LESSON 02 Pythonをインストールしてみよう

Windowsにインストールする方法

macOSにインストールする方法

LESSON 03 requestsでアクセスしてみよう

ライブラリのインストール方法

HTMLファイルを読み込むプログラム

IDLEを起動しよう

プログラムを作ってみよう

テキストファイルに書き込む:open、close

テキストファイルに書き込む:with文

 

第2章 HTMLを解析しよう

LESSON 04 HTMLを解析してみよう

Beautiful Soupをインストール

Beautiful Soupで解析する

タグを探して表示する

すべてのタグを探して表示する

idやclassで検索範囲を絞り込む

LESSON 05 ニュースの最新記事一覧を取得してみよう

デベロッパーツールを使って絞り込もう

LESSON 06 リンク一覧をファイルに書き出そう

すべてのリンクタグのhref属性を表示する

すべてのリンクタグのhref属性を絶対URLで表示する

リンク一覧自動作成プログラム

LESSON 07 画像を一括ダウンロードしよう

画像ファイルを読み込んで保存する

ダウンロード用のフォルダを作って保存する

すべてのimgタグの画像ファイルURLを表示する

ページ内の画像を一括ダウンロードするプログラム

 

第3章 表データを読み書きしよう

LESSON 08 pandasを使ってみよう

pandasをインストール

表データってなに?

CSVファイルを読み込む

列データ行データを表示する

列データ行データを追加する

列データ行データを削除する

LESSON 09 さまざまなデータの加工

必要な情報を抽出する

データを集計する

データを並べ替える

行と列を入れ替える

CSVファイルに出力する

LESSON 10 グラフで表示してみよう

matplotlibをインストール

グラフで表示する

さまざまな種類のグラフを表示する

個別のデータをグラフで表示する

棒グラフを画像ファイル出力する

LESSON 11 Excelファイルを読み書きしてみよう

openpyxlをインストール

Excelファイルに出力する

Excelファイルを読み込む

 

第4章 オープンデータを分析してみよう

LESSON 12 オープンデータってなに?

オープンデータは宝の山

LESSON 13 郵便局:郵便番号データ

csvファイルを読み込む

データを抽出する

LESSON 14 e-Stat:政府統計の相互窓口

csvファイルを読み込む

データをグラフで表示する

LESSON 15 キッズすたっと:探そう統計データ

csvファイルを読み込む

データをグラフで表示する

LESSON 16 自治体のデータ:データシティ鯖江

csvファイル(消火栓)を読み込む

foliumをインストール

地図上に消火栓を表示

csvファイル(店舗)を読み込む

地図上に店舗を表示

 

第5章 Web APIでデータを収集しよう

LESSON 17 Web APIってなに?

他のコンピュータの機能を利用する

LESSON 18 OpenWeatherMapってなに?

OpenWeatherMapサイトの利用手順

OpenWeatherMapを利用する

LESSON 19 現在の天気を調べよう

都市名で指定して、天気を取得

JSONってなに?

JSONデータの書式

JSONデータを読み込む方法

郵便番号で指定して、天気を取得する

LESSON 20 現在から5日間(3時間ごと)の天気を調べよう

5日間の天気を取得してみよう

UTC(協定世界時)をJST(日本標準時)に変換

5日間の気温をグラフで表示してみよう

更に先へ進もう

PostgreSQL徹底入門 第4版 インストールから機能・仕組み、アプリ作り、管理・運用まで

作って理解するOS x86系コンピュータを動かす理論と実装

関連記事

  1. [改訂第4版]SQLポケットリファレンス

    目次第1部 SQLとは(SQLの基礎概念)1.1 S…

  2. UnityによるARゲーム開発 ―作りながら学ぶ…

    目次1章 はじめに2章 プレイヤーの位置のマッピング…

  3. Instagramでビジネスを変える最強の思考法…

    目次第1章 Instagramでビジネスを変える「基本」を知…

  4. モバイルアプリ開発エキスパート養成読本 (Sof…

    目次第1章 モバイルアプリ開発の基礎知識1‐1 モバ…

  5. キャッシュレス時代のクレジットカード&…

    目次introduction 今からキャッシュレスに慣れてお…

  6. プログラマのためのGoogle Cloud Pl…

    目次1章 Google Cloud Platformの概要…

  7. Web技術 最強の指南書

    目次第1部 Webの通信プロトコルを学ぶ第1章 HT…

  8. Unityの寺子屋 定番スマホゲーム開発入門

    目次Chapter1 Unityの基本を身に付けよう…

コメント

  1. この記事へのコメントはありません。

  1. この記事へのトラックバックはありません。

最近の記事

タグクラウド

PAGE TOP