xmlのparseで利用するためにlxmlをインストールする

背景

以前はxmlのparseにxml.etree.ElementTreeを利用しました。実際に利用したところ、ファイルサイズが大きめのXMLを読み込んでループを回したところで、out of memoryになり、停止してしまいました。

なにか別のライブラリはないかなと思って探したところlxmlというパッケージが見つかったのでそれを利用してみようと思います。

インストール

pipでインストールします。Pipfileにlxml = "*"を追加して、インストールします。

$ docker-compose run --rm web python -m pipenv install --system --skip-lock
Creating test_site_web_run ... done
Installing dependencies from Pipfile...
  🐍   ▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉ 1/1 — 00:00:00
An error occurred while installing lxml! Will try again.
Installing initially failed dependencies...
（中略）
[pipenv.exceptions.InstallError]:     error: command 'gcc' failed: No such file or directory
...

エラーが起こってしまいました。'gcc' failed: No such file or directoryというエラーになっているので確認してみると、gccがインストールされていません。

gccのインストール

Dockerfileに以下の1行を追記します。

RUN apk add gcc

再ビルドします。

$ docker-compose build                                                     
Building web
[+] Building 23.5s (12/12) FINISHED 
（中略）
#12 20.56 [pipenv.exceptions.InstallError]:     /tmp/xmlXPathInitzi6405c3.c:1:10: fatal error: libxml/xpath.h: No such file or directory
#12 20.56 [pipenv.exceptions.InstallError]:         1 | #include "libxml/xpath.h"
...

xpath.hがないということです。調べてみると、libxslt-devというパッケージが必要とのことなので、以下のように修正してインストールします。

RUN apk add gcc libxslt-dev

ビルドします。

$ docker-compose build
Building web
（中略）
#12 11.11 [pipenv.exceptions.InstallError]:   /usr/local/include/python3.9/Python.h:11:10: fatal error: limits.h: No such file or directory
#12 11.11 [pipenv.exceptions.InstallError]:      11 | #include <limits.h>
（中略）
#12 11.11 [pipenv.exceptions.InstallError]:   /usr/include/libxml2/libxml/tree.h:15:10: fatal error: stdio.h: No such file or directory
#12 11.11 [pipenv.exceptions.InstallError]:      15 | #include <stdio.h>
...

また失敗しました。ちょっとわからないので、調べてみます。

musl-devというパッケージが必要とのことなので、そちらもインストールします。

RUN apk add gcc libxslt-dev musl-dev

もう一度ビルドします。

$ docker-compose build
Building web
[+] Building 185.8s (13/13) FINISHED                                                                                                                                                                     
 => [internal] load build definition from Dockerfile                                                                                                                                                0.0s
 => => transferring dockerfile: 260B                                                                                                                                                                0.0s
 => [internal] load .dockerignore                                                                                                                                                                   0.0s
 => => transferring context: 2B                                                                                                                                                                     0.0s
 => [internal] load metadata for docker.io/library/python:3.9.7-alpine                                                                                                                              2.5s
 => [1/8] FROM docker.io/library/python:3.9.7-alpine@sha256:eb1b2038f12c8916be54329319a625de2dfec4266b718efdb798cc149b342a2f                                                                        0.0s
 => [internal] load build context                                                                                                                                                                   0.1s
 => => transferring context: 18.50kB                                                                                                                                                                0.1s
 => CACHED [2/8] RUN apk update                                                                                                                                                                     0.0s
 => [3/8] RUN apk add gcc libxslt-dev musl-dev                                                                                                                                                      4.6s
 => [4/8] RUN mkdir /code                                                                                                                                                                           0.4s
 => [5/8] WORKDIR /code                                                                                                                                                                             0.0s 
 => [6/8] ADD . /code/                                                                                                                                                                              0.1s 
 => [7/8] RUN pip install pipenv                                                                                                                                                                    8.1s 
 => [8/8] RUN python -m pipenv install --system --skip-lock                                                                                                                                       168.1s 
 => exporting to image                                                                                                                                                                              1.8s 
 => => exporting layers                                                                                                                                                                             1.8s 
 => => writing image sha256:499cdeca8be5a7281b86e0e691498568fef3dec05495c64552e99aea0322d53e                                                                                                        0.0s 
 => => naming to docker.io/library/test_site_web                                                                                                                                              0.0s 

Use 'docker scan' to run Snyk tests against images to find vulnerabilities and learn how to fix them

無事ビルドできました！

まとめ

lxmlを利用するには、gcc, libxslt-dev, musl-devが必要でした。

次回はlxmlを使ってparseする処理を実装していきたいと思います。

参考図書

• 入門Python3