Ckan 2.10系に対応 #88

ryo-ma · 2023-11-27T02:13:51Z

https://github.com/ckan/ckan/releases

動作確認後、2.10系に対応作業を実施

To-Ki-O · 2024-02-27T06:20:27Z

CKAN2.10系の検証

現状で判明している内容について以下に記載いたします。

`ckanext-feedback`前に必要な修正

SQLAlchemyはver.1.4.41が利用されている
- pyproject.tomlのsqlalchemyの指定しているバージョンを修正する必要がある
/srv/app/src/ckan/ckan/public/base/i18n/ja.jsに権限を付与する
- 初期段階ではPLUGINから上記ファイルへのアクセス権限がないため、権限を付与する必要がある

`ckanext-feedback`インストール後

templateファイル内のhelper関数が変更になっている(以下のログを参照)

その他(templateファイル)
- {{ h.url_for(controller='admin', action='index') }}が{{ h.url_for('admin.index') }}と簡略化されている
- {{ h.url_for('/user/_logout') }}が{{ h.url_for('user.logout') }}となっている等

ryo-ma · 2024-02-27T06:47:42Z

@To-Ki-O 試した手順も残しておいてもらえますか？

ryo-ma · 2024-02-27T16:08:10Z

https://github.com/ckan/ckan-docker
こちらで立ち上げているがckan/ckan-base-datapusher:0.0.20 の起動がうまくいかず。

特に目立ったエラーは見られず再起動を繰り返す

2024-02-28 01:07:38 [uWSGI] getting INI configuration from /srv/app/datapusher-uwsgi.ini
2024-02-28 01:07:38 *** Starting uWSGI 2.0.19.1 (64bit) on [Tue Feb 27 16:07:38 2024] ***
2024-02-28 01:07:38 compiled with version: 10.2.1 20201203 on 09 January 2021 08:06:39
2024-02-28 01:07:38 os: Linux-5.15.49-linuxkit #1 SMP PREEMPT Tue Sep 13 07:51:32 UTC 2022
2024-02-28 01:07:38 nodename: e55d9896ea1f
2024-02-28 01:07:38 machine: x86_64
2024-02-28 01:07:38 clock source: unix
2024-02-28 01:07:38 pcre jit disabled
2024-02-28 01:07:38 detected number of CPU cores: 4
2024-02-28 01:07:38 current working directory: /srv/app
2024-02-28 01:07:38 writing pidfile to /tmp/datapusher-uwsgi.pid
2024-02-28 01:07:38 detected binary path: /usr/sbin/uwsgi
2024-02-28 01:07:38 setuid() to 92
2024-02-28 01:07:38 your memory page size is 4096 bytes
2024-02-28 01:07:38  *** WARNING: you have enabled harakiri without post buffering. Slow upload could be rejected on post-unbuffered webservers *** 
2024-02-28 01:07:38 detected max file descriptor number: 1048576
2024-02-28 01:07:38 lock engine: pthread robust mutexes
2024-02-28 01:07:38 unable to set PTHREAD_PRIO_INHERIT
2024-02-28 01:08:38 [uWSGI] getting INI configuration from /srv/app/datapusher-uwsgi.ini
2024-02-28 01:08:38 *** Starting uWSGI 2.0.19.1 (64bit) on [Tue Feb 27 16:08:38 2024] ***
2024-02-28 01:08:38 compiled with version: 10.2.1 20201203 on 09 January 2021 08:06:39
2024-02-28 01:08:38 os: Linux-5.15.49-linuxkit #1 SMP PREEMPT Tue Sep 13 07:51:32 UTC 2022
2024-02-28 01:08:38 nodename: e55d9896ea1f
2024-02-28 01:08:38 machine: x86_64
2024-02-28 01:08:38 clock source: unix
2024-02-28 01:08:38 pcre jit disabled
2024-02-28 01:08:38 detected number of CPU cores: 4
2024-02-28 01:08:38 current working directory: /srv/app
2024-02-28 01:08:38 writing pidfile to /tmp/datapusher-uwsgi.pid
2024-02-28 01:08:38 detected binary path: /usr/sbin/uwsgi
2024-02-28 01:08:38 setuid() to 92
2024-02-28 01:08:38 your memory page size is 4096 bytes
2024-02-28 01:08:38  *** WARNING: you have enabled harakiri without post buffering. Slow upload could be rejected on post-unbuffered webservers *** 
2024-02-28 01:08:38 detected max file descriptor number: 1048576
2024-02-28 01:08:38 lock engine: pthread robust mutexes
2024-02-28 01:08:38 unable to set PTHREAD_PRIO_INHERIT

To-Ki-O · 2024-02-28T00:43:21Z

以下に手順を記載いたします。

ckan-docker/src内にckanext-feedbackをcloneする
ckanext-feedback/pyproject.tomlの33行目, 34行目のPythonとSQLAlchemyのバージョンを変更する
https://github.com/ckan/ckan-docker からCKAN 2.10を起動

※ DataPusherは再起動を繰り返します。(Issueとして上がっているようですが、調査中です)
ckan/ckan-docker#114

CKANコンテナ内に入り、権限を変更する chmod 777 /srv/app/src/ckan/ckan/public/base/i18n/ja.js
pip install /srv/app/src_extensions/ckanext-feedback
vi srv/app/ckan.iniのPluginsにfeedbackを追記する

以上が私が行った手順になります。

ryo-ma · 2024-02-28T03:21:35Z

@To-Ki-O ありがとうございます。
現在、submoduleの対象がckan本体のリポジトリになっているので、ckan-dockerに変更する作業もしたいですね。

ryo-ma · 2024-03-01T01:50:00Z

ckanの起動もコンテナは起動していますがlocalhostで接続できず。

2024-03-01 10:48:44 2024-03-01 01:48:44,281 INFO  [ckan.cli] Using configuration file /srv/app/ckan.ini
2024-03-01 10:48:44 2024-03-01 01:48:44,283 INFO  [ckan.config.environment] Loading static files from public
2024-03-01 10:48:45 2024-03-01 01:48:45,432 INFO  [ckan.config.environment] Loading templates from /srv/app/src/ckan/ckan/templates
2024-03-01 10:48:46 2024-03-01 01:48:46,878 WARNI [ckanext.reclineview.plugin] The Recline-based views are deprecated andwill be removed in future versions
2024-03-01 10:48:46 2024-03-01 01:48:46,999 INFO  [ckan.config.environment] Loading templates from /srv/app/src/ckan/ckan/templates
2024-03-01 10:48:47 2024-03-01 01:48:47,515 WARNI [ckan.config.middleware.flask_app] Extensions are excluded from CSRF protection! We allow extensions to run without CSRF protection but it will be forced future releases. Read the documentation for more information on how to add CSRF protection to your extension.
2024-03-01 10:48:50 2024-03-01 01:48:50,653 INFO  [ckan.cli] Using configuration file /srv/app/ckan.ini
2024-03-01 10:48:50 2024-03-01 01:48:50,655 INFO  [ckan.config.environment] Loading static files from public
2024-03-01 10:48:51 2024-03-01 01:48:51,816 INFO  [ckan.config.environment] Loading templates from /srv/app/src/ckan/ckan/templates
2024-03-01 10:48:53 2024-03-01 01:48:53,279 WARNI [ckanext.reclineview.plugin] The Recline-based views are deprecated andwill be removed in future versions
2024-03-01 10:48:53 2024-03-01 01:48:53,402 INFO  [ckan.config.environment] Loading templates from /srv/app/src/ckan/ckan/templates
2024-03-01 10:48:53 2024-03-01 01:48:53,905 WARNI [ckan.config.middleware.flask_app] Extensions are excluded from CSRF protection! We allow extensions to run without CSRF protection but it will be forced future releases. Read the documentation for more information on how to add CSRF protection to your extension.
2024-03-01 10:48:56 2024-03-01 01:48:56,729 INFO  [ckan.cli] Using configuration file /srv/app/ckan.ini
2024-03-01 10:48:56 2024-03-01 01:48:56,731 INFO  [ckan.config.environment] Loading static files from public
2024-03-01 10:48:58 2024-03-01 01:48:58,041 INFO  [ckan.config.environment] Loading templates from /srv/app/src/ckan/ckan/templates
2024-03-01 10:48:59 2024-03-01 01:48:59,572 WARNI [ckanext.reclineview.plugin] The Recline-based views are deprecated andwill be removed in future versions
2024-03-01 10:48:59 2024-03-01 01:48:59,713 INFO  [ckan.config.environment] Loading templates from /srv/app/src/ckan/ckan/templates
2024-03-01 10:48:54 
2024-03-01 10:48:54 WARNING:  no privileges were granted for "public"
2024-03-01 10:48:54 
2024-03-01 10:48:54 WARNING:  no privileges were granted for "public"
2024-03-01 10:48:54 
2024-03-01 10:48:54 WARNING:  no privileges were granted for "public"
2024-03-01 10:48:54 
2024-03-01 10:48:54 WARNING:  no privileges were granted for "public"
2024-03-01 10:48:54 
2024-03-01 10:48:54 [prerun] Initializing datastore db - end
2024-03-01 10:48:54 b''
2024-03-01 10:48:54 [prerun] Succesfully connected to solr and CKAN schema loaded
2024-03-01 10:48:54 [prerun] Sysadmin user exists, skipping creation
2024-03-01 10:48:54 /srv/app/start_ckan.sh: Running init file /docker-entrypoint.d/01_setup_datapusher.sh
2024-03-01 10:48:54 Set up ckan.datapusher.api_token in the CKAN config file
2024-03-01 10:49:03 /srv/app/start_ckan.sh: Ignoring /docker-entrypoint.d/README.md (not an sh or py file)
2024-03-01 10:49:03 Setting a temporary value for ckan.datapusher.api_token
2024-03-01 10:49:00 2024-03-01 01:49:00,244 WARNI [ckan.config.middleware.flask_app] Extensions are excluded from CSRF protection! We allow extensions to run without CSRF protection but it will be forced future releases. Read the documentation for more information on how to add CSRF protection to your extension.
2024-03-01 10:49:03 *** Starting uWSGI 2.0.21 (64bit) on [Fri Mar  1 01:49:03 2024] ***
2024-03-01 10:49:03 compiled with version: 12.2.1 20220924 on 09 November 2022 12:47:28
2024-03-01 10:49:03 os: Linux-5.15.49-linuxkit #1 SMP PREEMPT Tue Sep 13 07:51:32 UTC 2022
2024-03-01 10:49:03 nodename: bbcbcb92287b
2024-03-01 10:49:03 machine: x86_64
2024-03-01 10:49:03 clock source: unix
2024-03-01 10:49:03 pcre jit disabled
2024-03-01 10:49:03 detected number of CPU cores: 4
2024-03-01 10:49:03 current working directory: /srv/app
2024-03-01 10:49:03 detected binary path: /usr/sbin/uwsgi
2024-03-01 10:49:03 uWSGI running as root, you can use --uid/--gid/--chroot options
2024-03-01 10:49:03 setgid() to 92
2024-03-01 10:49:03 setuid() to 92
2024-03-01 10:49:03 your memory page size is 4096 bytes
2024-03-01 10:49:03  *** WARNING: you have enabled harakiri without post buffering. Slow upload could be rejected on post-unbuffered webservers *** 
2024-03-01 10:49:03 detected max file descriptor number: 1048576
2024-03-01 10:49:03 lock engine: pthread robust mutexes
2024-03-01 10:49:03 unable to set PTHREAD_PRIO_INHERIT

ryo-ma · 2024-03-01T02:19:38Z

docker-compose.dev.ymlの方だと動作しました。

ryo-ma · 2024-03-05T00:08:31Z

datapusherの必要性の調査
datapusherの動作対応
どのtemplateが修正必要か調査
ckan内部で利用していた関数が利用できるかの確認

To-Ki-O · 2024-03-05T00:35:40Z

2024.03.05 09:35

解決策

.envファイルのCKAN_SITE_URLをhttp://localhost:5000というHTTPに変更する

`DataPusher`が起動していない状態

画面遷移のたびに以下のエラーが発生する
- Organization, dataset, resourceを作成するボタンにHTTPSのURLが割り振られているため発生している

リソースの登録自体は可能

ryo-ma · 2024-03-05T01:09:48Z

DataPusherとの関係が分からなかったのです、上記は関係あるのですか？

To-Ki-O · 2024-03-05T01:19:54Z

DataPusherなしでデータの挿入が可能か試した形になります。
DataPusherの役割としては以下のようです。
- CKANのDataStoreにデータを挿入するPlugin
- Preview画面にリソース可視化するPluginで必須になるようです。

CKANフィードバックにおいては、DataPusherは必須ではなさそうです。
もう少し調査をいたします。

To-Ki-O · 2024-03-07T00:40:32Z

DataPusherについて

本拡張機能においてはDataPusherは必須ではないと判断しました。
- CKAN 9.7系において、DataPusherをPluginsから削除し、DataPusherのコンテナを落として動作確認を行いました。
  - 特に問題なく、CKANフィードバック機能が動作いたしました

修正が必要なファイルについて

調査は完了しておりませんが、修正が必要になりそうです。
- command/feedback.py
  - (psycopg2.errors.UndefinedTable) relation "resource" does not existというエラーが発生している
  - [解決済] ckan.model.metaにengineが定義されており、こちらを利用することでテーブルの作成が完了した
    - command/feedback.pyの中身を見直す必要あり

その他の修正が必要と考えられる点について

CSRF対応

以下のWarningが出ている

WARNI [ckan.config.middleware.flask_app] Extensions are excluded from CSRF protection! 
We allow extensions to run without CSRF protection but it will be forced future releases. 
Read the documentation for more information on how to add CSRF protection to your extension.

CKANのドキュメントに対応方法が記載

To-Ki-O · 2024-03-07T01:46:20Z

Templateについて

CKAN 2.9系とCKAN 2.10系のdiffを取って比較した

大きく修正が必要

header.html
package/snippets/resource_item.html
package/resource_read.html
snippets/package_item.html

若干の修正が必要

package/snippets/additional_info.html
- h.link_to()が削除され、aタグが利用される形に修正されていた
command/feedback.py ※こちらはtemplatesではありませんが、こちらに記載いたします
- ckan/model/meta.pyからengineを取得する形で動作可能であり、中身の見直しと修正が必要と考えられるため

動作確認は必要だが、修正の必要はなさそう

page.htmlに若干の変更
- management/comment.html
- utilization/details.html
- utilization/edit.html
- utilization/search.html
package/base.htmlに若干の変更
- resource/comment.html
- utilization/new.html

ryo-ma · 2024-04-03T13:45:01Z

リソースコメント画面のApproveボタンとReplyボタンが左寄せになっています。Utilizationのコメントは右寄せだったので2.10系対応によるバグですかね？

ryo-ma · 2024-04-03T13:52:38Z

Utilizationのeditも同様で元々は以下で

v2.10系で以下のようになっています。

ryo-ma added v1.2 v1.2.1 v1.3 and removed v1.2 v1.2.1 labels Feb 26, 2024

ryo-ma assigned To-Ki-O Feb 27, 2024

ryo-ma closed this as completed Apr 16, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Ckan 2.10系に対応 #88

Ckan 2.10系に対応 #88

ryo-ma commented Nov 27, 2023

To-Ki-O commented Feb 27, 2024

ryo-ma commented Feb 27, 2024

ryo-ma commented Feb 27, 2024 •

edited

Loading

To-Ki-O commented Feb 28, 2024

ryo-ma commented Feb 28, 2024

ryo-ma commented Mar 1, 2024

ryo-ma commented Mar 1, 2024

ryo-ma commented Mar 5, 2024

To-Ki-O commented Mar 5, 2024 •

edited

Loading

ryo-ma commented Mar 5, 2024

To-Ki-O commented Mar 5, 2024 •

edited

Loading

To-Ki-O commented Mar 7, 2024 •

edited

Loading

To-Ki-O commented Mar 7, 2024 •

edited

Loading

ryo-ma commented Apr 3, 2024

ryo-ma commented Apr 3, 2024

Ckan 2.10系に対応 #88

Ckan 2.10系に対応 #88

Comments

ryo-ma commented Nov 27, 2023

To-Ki-O commented Feb 27, 2024

CKAN2.10系の検証

ckanext-feedback前に必要な修正

ckanext-feedbackインストール後

ryo-ma commented Feb 27, 2024

ryo-ma commented Feb 27, 2024 • edited Loading

To-Ki-O commented Feb 28, 2024

ryo-ma commented Feb 28, 2024

ryo-ma commented Mar 1, 2024

ryo-ma commented Mar 1, 2024

ryo-ma commented Mar 5, 2024

To-Ki-O commented Mar 5, 2024 • edited Loading

解決策

DataPusherが起動していない状態

ryo-ma commented Mar 5, 2024

To-Ki-O commented Mar 5, 2024 • edited Loading

To-Ki-O commented Mar 7, 2024 • edited Loading

DataPusherについて

修正が必要なファイルについて

To-Ki-O commented Mar 7, 2024 • edited Loading

Templateについて

大きく修正が必要

若干の修正が必要

動作確認は必要だが、修正の必要はなさそう

ryo-ma commented Apr 3, 2024

ryo-ma commented Apr 3, 2024

`ckanext-feedback`前に必要な修正

`ckanext-feedback`インストール後

ryo-ma commented Feb 27, 2024 •

edited

Loading

To-Ki-O commented Mar 5, 2024 •

edited

Loading

`DataPusher`が起動していない状態

To-Ki-O commented Mar 5, 2024 •

edited

Loading

To-Ki-O commented Mar 7, 2024 •

edited

Loading

To-Ki-O commented Mar 7, 2024 •

edited

Loading