M1 OS 12.4 に Miniconda で Pytorch と Tensorflow をインストールする

概要 Apple M1 Pro, Macbook Pro で、Anaconda をアンイストールし、Miniconda をインストール、 Pytorch Tensorflow をインストールする。 特に Tensorflow のインストールでトラブルが多いため様々な情報があるが、私の環境でのインストールを書きます。 t…

OpenCV 4.6.0 AttributeError: module 'cv2' has no attribute 'CascadeClassifier'

OpenCV 4.6.0.66 で次のエラーが発生した。 In [4]: cv2.CascadeClassifier() --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) Input In [4], in <cell line: 1>() ----> 1 cv2.CascadeCl</cell>…

TINY2040(Raspberry Pi Pico) と Arducam Mini 2MP Plus(OV2640 SPI Camera) を接続する

前回同様、今度は TINY2040 に Arducam Mini 2MP Plus を接続し、BMP 画像をキャプチャしました。 www.arducam.com TINY2040 は Pimoroni が出している、Raspberry Pi Pico と同じチップを用いた切手サイズのボードです。 とはいえ、Raspberry Pi Pico と Ti…

OSX で Raspberry Pi Pico / Arducam Mini 2MP Plus(OV2640 SPI Camera) から BMP 画像をキャプチャする

久々にこのあたりを触っており、上記タイトルのことをやってみたので投稿します。 Mac ユーザーは Arducam の画像キャプチャアプリを使えないので不便です。 python で簡単な確認スクリプトを作って BMP を確認してみました。 ちなみに、Arducam Mini 2MP Pl…

HAL/S の COMPOOL はピンが最初から抜かれている手榴弾に例えられるべきだ

"C のポインタの危険性を剥き身のナイフに 例えるなら、HAL/S の COMPOOL はピンが最初から抜かれている手榴弾に例えられるべきだ" "HAL/S は珍しい、死亡日時がはっきりしたプログラミング言語となる。STS-135 向けのミッショ ン用コード…

branch not equal

実はこのブログは昔から少しずつ書いていたブログを引き継いでいたりします。 ちょっとイキった名前をつけたブログでしたが、当時は non-OS から rt-OS、embeded-Linux など組み込みシステム、それだけでなく Verilog-HDL や VHDL でデジタル回路も組んでい…

SuperCollider を Emacs で使う(Scel)

概要 ここ最近、だいぶ久しぶりに SuperCollider や Max を再開し、過去のコードを眺めたり紐解いたりしている(昔は PowerPC だったし、Max/Msp 4 だった)。 今は OSC などアプリケーション間通信プロトコルも整備されているし、Processing や Ableton Max…

Arduino IDE で構造体宣言があるにも関わらず 'not declared in this scope' エラーが発生する

概要 タイトルのとおりですが、Arduino IDE で C/C++ の文法に則って記述した構造体宣言があるにも関わらず 'not declared in this scope' でコンパイルエラーが発生する場合があります。 この原因と解決方法を書いておきます。 現象 sketch.ino こコードの…

SOC2 (Service and Organization Controls 2) 保証報告書

概要 業務で必要になったため、「SOC2 (Service and Organization Controls 2) 保証報告書」について簡単にまとめ、参考サイトも貼っておきます。 SOC2保証報告書の提示が「取引条件」に入る日は近いかもしれない | cloudpack.media https://blog.kaspersky.…

anaconda + screen で activate 時にエラー発生

始めに 私は screen 環境をよく使うのですが、新しい環境で anaconda を初めて使うときなどによく発生するエラーとして以下があります。 何度もハマっている(のに忘れる)ため、備忘のため書いておこうと思います。 エラーについて どういう時に発生するか…

ラズパイでパスワードを忘れた際のリセット方法

この記事の内容 しばらく箪笥にしまっていたラズパイを久々に引っ張り出してきてログインしようとしたらパスワードを忘れて、ということがよく起こります。 ここでは、パスワードをリセットする方法について書きます。 ラズパイでパスワードを忘れた際の方法…

Tree における単調性制約

XGBoost における単調性制約 - 2 はじめに 前回 XGBoost での単調性制約を与える方法について紹介しましたが、そのメカニズムについて調べました。 線形モデルはデータと目的変数間の単調性(増加・減少)を捉えるモデルです。 非線形モデルを使うのは、単調…

matplotlib で plt.show() するとウィンドウは開いてもグラフが描画されない

matplotlib で plt.show() するとウィンドウは開いてもグラフが描画されない、という問題が発生しました。 plt.show() で ウィンドウが開かない、というはよくあるパターンで大体が描画の際のバックエンドの指定だと思います (https://qiita.com/yoshizaki_k…

CalibratedClassifierCV で XGBoost の学習済みモデルが ValueError: feature_names mismatch となる

はじめに CalibratedClassifierCV に XGBoost の学習済みモデルを指定して、fit すると ValueError: feature_names mismatch となる場合があります。 これは XGBoost の学習時には pandas の column 名を変数とし、CalibratedClassifierCV では numpy.ndarra…

単語分散表現(Skipgram, CBoW)のベクトル長について

Skipgram など単語の分散表現のベクトル長について Skipgram, CBoW などの単語分散表現は、単語をベクトル空間に配置(埋め込む)するのですが、単語同士の類似度としてはコサイン類似度が用いられます。 言い換えると、単語ベクトル同士の角度が類似度とな…

XGBoost における単調性制約

XGBoost の単調性制約 XGBoost などの Tree 系アルゴリズムは表現力が大きいため、容易に bias を小さくできます。 下の例では、増加するトレンドにある特徴量と目的変数がにノイズが乗ったデータに対して XGBoost でフィッティングすると、全体的には上昇ト…

BayesSearchCV で XGBoost の early stopping 機能を使う

BayesSearchCV で XGBoost の early stopping 機能を使う 先日の BayesSearchCV イントロダクションの続きです。 XGBoost には early stopping という、 学習データとは別に、テストデータの Validation error が少なくとも <early_stopping_rounds> 回数連続して減少しないと、学習</early_stopping_rounds>…

scikit-optimize の BayesSearchCV を用いたベイズ最適化によるハイパーパラメータ探索

ベイズ最適化でハイパーパラメータをチューニングする ハイパーパラメータのチューニングではパラメータを様々に振りながら学習を繰り返し、一番パフォーマンスが良いところを探し出します。 学習時間はモデルやデータサイズなどによって異なりますが、効率…

jupyter notebook をコマンドラインで実行し HTML ファイルを生成する

はじめに 備忘録です。 最近は非エンジニアの分析官に一次分析内容を共有して定性分析を依頼したりする事が多いのですが、多数のモデルの場合 jupyter をある程度自動化したい場合があります。 私のよくやる流れとしては以下ですが、これを多数のモデルで PD…

関数データ解析(FDA, Functional Data Analysis)とは

関数データ解析とは 関数データ解析とは 各個体や対象に対して、複数の離散点で時間や空間の変化に伴い観測・測定されたデータを、関数の集合として捉え、解析する方法 Ramsay and Silverman, 2005 とされています。 一般的にデータ解析では、データそのもの…

Decision Tree - ID3(Iterative Dichotomiser 3 - 1979 John Ross Quinlan)

Decision Tree - ID3(Iterative Dichotomiser 3 - 1979 John Ross Quinlan) (注意) これは私の勉強・備忘録のために記したものであり、間違いがあるやもしれません。どうぞご容赦ください。 はじめに 決定木のアルゴリズムに ID3 というものがあります。 ID3…

keras.datasets.imdb.load_data() に 'Object arrays cannot be loaded when allow_pickle=False' で失敗する.

Tensorflow tutorials の「映画レビューのテキスト分類」(https://www.tensorflow.org/tutorials/keras/basic_text_classification) にて、データセットのロードに失敗します。 In [6]: from keras.datasets import imdb In [7]: (train_data, train_labels)…

Mojave に機械学習とデータ解析の anaconda 環境を構築

Macbook Air を購入したので、何もインストールされていない真っさらな状態から、機械学習とデータ解析の環境を構築しました。 日々構築方法が様々に洗練され、前回のやり方が通用しない昨今ですが、今回は anaconda で全て構築しました。 brew emacs Ricty …