ビットの海

ゆるふわソフトウェアエンジニアしゃぜのブログ

AWS DMSでハマった件3つ

問題1 : 同一時刻のトランザクションで、どの操作がどの順番で行われたのかわからなくなる 解決方法 AR_H_CHANGE_SEQ を使う 参考 aws.amazon.com 問題2 : MySQLをソースとして、CDC中にパーティショニングテーブルの操作が行われるとCDCがストップする 解決…

DuckDB cli で parquet ファイルを編集しよう

shase428.hatenablog.jp 以前、parquet-cli のことを書いたけど、今回は DuckDB なんだ。 DuckDB はこれね duckdb.org インストール brew install duckdb でOK parquet ファイルを Load して編集して、Export する流れ $ duckdb でコマンドラインを起動 ちな…

Pythonコーディング用にneovimを最低限整える(2024年夏)

さて前回のコレから5年が経過しています... shase428.hatenablog.jp shase428.hatenablog.jp コンセプト とりあえずこれくらいやればLSP動くよ〜という紹介 脱 coc.nvim LSは手動で管理するので、mason.nvim みたいなのは使わない Python の LSP を最低限の…

gcloud で service account で auth してコマンド使えるようにするまで

いつも忘れるので... 1. credentials の json で auth する gcloud auth activate-service-account \ foo@foo-project.iam.gserviceaccount.com \ --key-file /path/foo-project-1234.json \ --project foo-project 2. auth されてるのを確認する gcloud aut…

リクルートの根雪モデルについてのメモ

要するに リピートを獲得して売上を増やしていく。今の言葉で言えば、小さいCPA(一定のCPA)でLTVを大きくする話。 関連 12年に2億円、14年に15億円、15年に40億円、16年に21億円という巨額の資金調達を行い、この資金を使ってテレビCMやソフトウェア開発お…

「世界一流エンジニアの思考法」を読んだ

世界一流エンジニアの思考法 (文春e-book)作者:牛尾 剛文藝春秋Amazon 感想サマリ 最近読んだ本の中では良かった。書いてることは当たり前なんだけど、当たり前のことができているか?という内省につながる… 各章のメモ 第1章 世界一流エンジニアは何が違う…

2024年やることめも

もうほんとに、ただの俺向けメモ とりあえず前半は以下をやっていくわ 英語(TOEIC & 英会話) 仕事で必要なので... 機械学習 やっていき 数学 やっていき 関数型プログラミング ただの趣味

2023年に親子4人でディズニーランドに行くと必要な金額のメモ

10年後ぐらいに見返す目的。 ホテル(泊まる場合) セレブレーションホテル : 33,000(ダイナミックプライシングなので休日はもっと高い) ホテルに宿泊すると、「ハッピーエントリー」というのがあって、入園に並ばず入れるというメリットがでかい。 パーク…

テック業界子育てコミュニティをDiscordでやっています

サマリ この記事は、子育てエンジニア Advent Calendar 2023 の 4日目です。 テック業界子育てコミュニティをDiscordでやってるので来てね! URLはここだよ! discord.gg で、終わってしまうんだが、少しだけ背景を書きますね...。 背景 最近、Xが大変面倒臭…

Embulk で Hello World 的なもの(2023年版)

Embulk コマンドのセットアップ これみて(最新バージョンに読み替えよう) shase428.hatenablog.jp Bundle 環境のセットアップ ## サンプルのディレクトリの作成 $ mkdir embulk_sample ## プロジェクト用のbundleを作成 $ embulk mkbundle bundle 2023-11-…

今やってる英語学習のメモ(2023年9月)

目標 TOEIC IP で 800 PROGOS B1 現状 TOIEC IP で 700前後 PROGOS A2 High 日々やること リスニング/リーディング スタディサプリ TOEIC 対策講座 スピーキング スピークとELSAを試用中 模擬試験 abceed

2023年やっていき

英語 TOEIC で一定のスコアを目指す それなりに会話できるようになりたい...。 ヘルスケア 自分の体をケアしていく 運動習慣の優先度を上げる 人間ドック行く プログラミング 新しいプログラミング言語に取り組む その他 資格試験など興味のあるものに取り組…

今やってる英語学習(2023年1月)

会社が英語化を推進しているのでやっている。 現状 TOEIC IP で 500~600 程度 目標 2023年6月ぐらいまでに TOEIC 700 2023年6月ぐらいまでに PROGOS B1 ほぼ毎日やること(ルーティン) 単語 TOEIC L&Rテスト英単語ターゲット1100 音読 TOEIC L&R TEST 音読…

2022年の簡単な振り返り

去年の振り返り 2021年の振り返り - ビットの海 サマリ 英語してる 転職した 概ね健康だったが1回コロナ感染した 今後の展望みたいなのは日をあらためて書くかも。これは振り返りだけ。 いろいろあったがわたしは元気です 仕事 4月末に前職を退職して、5月か…

5歳と2歳の育児の現状と今後の展望

サマリ この記事は、子育てエンジニア Advent Calendar 2022 の 7日目です。 正直子育てというトピックで最近ネタ切れ感があって、親の感覚としては初年度で書いたのがほぼ全てという感じ。 なので、5歳と2歳を抱える現状を(もっと小さいこどもを抱えている…

bq query の結果をGoogle Sheets(Google スプレッドシート)にそのまま貼り付けたい

ポイント csv はそのまま貼付けられない(1行になってしまう) tsv はそのまま貼り付け可能(ただし、2022年11月現在、--format に tsv はない) どうするか --format csv して tr で csv to tsv して pbcopy に渡す $ bq query --project_id foobar-project…

子どものYouTube閲覧をコントロールする話(2022年版)

はじめに 5歳の子どもはYouTubeが大好きなんだけど、コンテンツと視聴時間をコントロールしてる話です。 正直くだらねぇ動画ばっかりだなぁと思いつつ、まぁ、大人から見ると大抵の動画はそう見えるって話なので、あんまり厳密にコンテンツのフィルタリング…

システムの改善も大事だけど、新しいのを作って古いのを捨てよう

システムの話であり、開発者目線の話。 世の中のシステムというのは大抵壊れながら動いているので、まぁ、どこでも運用改善、ソフトウェアの改善みたいな話がある。 往々にして、規模が大きくなりすぎて、全面的なリプレイスみたいなのが難しいというのもあ…

Parquet ファイルを覗く

Parquet ファイル、これまであんまり向き合ってこなかったので、少し向き合う。 vim で開けない...かなしい...。 parquet-cli parquet でぐぐると、parquet-tools 使おうみたいな記事がよく出てくるが、2022年8月現在だともう更新されていないので、代わりに…

「最新医学で一番正しい アトピーの治し方」を読んだ

世界最高のエビデンスでやさしく伝える 最新医学で一番正しい アトピーの治し方作者:大塚 篤司ダイヤモンド社Amazon サマリ 保湿超だいじ アトピーは標準治療でコントロールしましょう 脱ステダメ絶対 わたしとアトピー 長男がアトピーなので、ここ数年アト…

zsh の ヒアドキュメントを変数に入れる

いつも忘れるので $ cat foobar.zsh #!/bin/zsh FOO="BBB" FOOBAR=`cat << EOF aaa ${FOO} ccc EOF` echo ${FOOBAR} 実行 $ zsh foobar.zsh aaa BBB ccc おまけ バッククオート(backquote)を escape して表示させたい。これもいつも忘れる。 $ cat foobar.…

Airflow 公式 docker image を使って、Cloud Composer の Local 開発環境を構築

サマリ local で Composer 向けの DAG 開発をしたい BigQuery Operator ぐらいはちゃんとうごいてほしい Airflow 2.1.x Python 3.8 ほんとはリポジトリつくってそれ pull してねってすれば親切なんだろうけど面倒くさいので個人のブログに書きなぐっている …

coc-python が archive されたので、coc-jedi と coc-diagnostic に乗り換えた

はじめに 元々 coc-python でLSPとして以下のような設定をして使っていたが、coc-python が停止してしまったので、乗り換えたというお話。 coc-settings.json { "languageserver": { "python": { "command": "pyls", "filetypes": [ "python" ], "trace.serv…

Quipper Japan の 思い出

これはなに Quipper Japanというなくなってしまったが、素晴らしい組織/企業を懐かしむ独り言です。 (インターネット上から Quipper という文字列が消えてきたので、少しでも残したいなと思って書きました) あなたはなに リクルートからの出向で、2019年4…

Mac で しゅっと Embulk をセットアップする (2022年5月版)

知らないうちに adoptopenjdk はなくなっているのであった... $ brew tap homebrew/cask-versions $ brew install --cask temurin8 # install されている java 一覧を出力 $ /usr/libexec/java_home -V $ export JAVA_HOME=`/usr/libexec/java_home -v 1.8` …

2021年の振り返り

もう4月で今更なのでこっそりと 仕事 なんやかんやあった プライベート いろいろあって疲れた... 書いたもの Qiita 古いUbuntuにpyenvで新しいPythonを入れる gcloud builds するときに、docker buildのoptionを渡したい PostgreSQLでユーザ(Role)あたりのコ…

Hackしないふつーの育児

adventar.org この記事は 子育てエンジニア Advent Calendar 2021 の13日めです。 以前書いたものはこちら 子育てソフトウェアエンジニアの継続的な学び方のエッセンス - ビットの海 子育てソフトウェアエンジニアのワークとライフ - ビットの海 こんちには…

エンジニアが起案を通すためのIT投資評価の話

はじめに いちエンジニアといえども、時には何かしらの起案を自組織や上司に対して行うことがあると思います。 片手間でできるような仕事であれば、起案もへったくれも無いかもしれませんが、ン千万のお買い物なんかは、だいたいの組織では、それなりの説明…

Visual Studio Code で yaml to json

marketplace.visualstudio.com YAML to JSON っていう extension でやってみる。 $ code foo.yaml して、 適当な yaml を書き、cmd + shift + p して、「YAML to JSON:Convert selection or document」をぽちっとする。 こんな感じの json になる。 そのまま…

Mac で しゅっと Embulk 動かす (2021年9月版)

以下はもう古いです。 新しい記事 : Mac で しゅっと Embulk 動かす (2022年5月版) - ビットの海 たまにしか触らないと、Java 8だったっけとか、dl.embulk.org 死んでるんだっけ、とか毎回忘れるわけですよ。 あと、 /usr/libexec/java_home -v の指定で、pa…