proofler: 5ライブラリ・430チェック・ワークアラウンドゼロ
5つのSQLiteバックエンドPythonライブラリを公開APIだけで統合テストした記録。16のバグを発見・修正。ライブラリの境界がカオス下で実際どう見えるか。
8件の記事
5つのSQLiteバックエンドPythonライブラリを公開APIだけで統合テストした記録。16のバグを発見・修正。ライブラリの境界がカオス下で実際どう見えるか。
パート1〜4はORMオーバーヘッドを計測した — sqlerとraw sqlite、両方ともJSONストレージ。本稿は別の問いを立てる。ドキュメント指向アーキテクチャ自体のコストは何か。等値フィルタ: 11x。集計: 9.5x。JSONLエクスポート: 1.0x。
qler対Celery+Redis — 7シナリオ、3ラウンド、そして正直に自分たちをベンチマークして発見した恥ずかしい12xのギャップ。
1,725件の計測、4スケール、10.5時間。バルクインサート0.89x(生のsqliteより速い)。FTSランク1.00x。他は全て≤1.15x。1.34xの縮小不能なギャップが1つ。
公平なベンチマークが実際のボトルネックを示した: Pydantic検証が1,600ns/行。エクスポートでバイパスすると2.8xのギャップがパリティに落ちた。msgspecの問いは未解決のまま。
22のベンチマークを書いた。全て自分に有利なバイアスがかかっていた。敵対的監査で18の公平性問題が見つかった。修正後は全ての数値が悪化したが、使える数値になった。
主要ユーザーがLLMの場合、何が変わるか。構造化JSON出力、自己記述型コマンド、冪等な操作、自分自身を説明する設定システム — LLMファーストプロセスマネージャーを作る中での設計判断。
loglerのパフォーマンスを公開APIだけで計測した14の実ベンチマーク。検索スケーリング、階層構築、クロスサービス相関、スマートサンプリング、出力フォーマット効率 — 全て実測値。