廖翠凤是鼓浪屿的首富廖家的二小姐，林语堂与她的兄弟很有交情，应邀去廖家吃饭。席间林语堂觉得有一双眼睛在偷看他（后来廖翠凤说是看他吃几碗饭），接着又发现他远行换下来的脏衣服被廖翠凤拿去洗了。后来廖翠凤上了圣玛丽亚书院，她听说林语堂在圣约翰大学读大二时连续三次上台领奖，大出风头，对林语堂更有了钦佩之情。而当二人拟订终身时，廖翠凤的母亲却有异议，说：“和乐（林语堂的本名）是牧师的儿子，家里很穷。”廖翠凤却坚决果断地说：“贫穷算不了什么。”就是这句话一锤定音，成就了林语堂与她的婚姻。
林语堂妻子廖翠凤，也是他的第三位恋人。林语堂出生于福建漳州城内，童年是在故乡平和县板仔乡度过的。他母亲义女的女儿，外号叫“橄榄”，喊林语堂为“五舅”。橄榄与五舅年龄相差无几，常在一起玩耍，抓鲦鱼，摸小龙虾。“她蹲在小溪里，蝴蝶落在发梢，缓步徐行，蝴蝶居然没有飞走。”这情景林语堂直到八十岁仍如在眼前。可见自然的爱萌发于细微末节，并非重大事件。橄榄体型瘦弱，长一张瓜子脸，个性倔强，目光忧郁，总像心事重重，平时穿一袭黑衣干活，到星期天换上浅蓝色旗袍，非常迷人。林语堂与橄榄自觉是理想的伴侣，相亲相爱，橄榄向他献出无私的爱心，而不求回报。如此青梅竹马的一对，却被无情地拆开了。当林语堂到上海读圣约翰大学时向她求婚，她未允诺。她不愿随林语堂背井离乡，远走高飞。她的祖父双目失明，随时需要她搀扶、伺候。她认定家乡什么都有，有最好的水果、鱼类、瓜菜和迷人的山水。分手的时候，橄榄站在悬崖上，头顶青天，发丝随风飞舞，那身影定格在林语堂的脑海中。林语堂到了北京后她则嫁给了坂仔乡的一个商人。为此，若干年后林语堂写了一部自传体小说，名为《赖柏英》，赖柏英就是他的第一个恋人橄榄的化身。
林语堂的第二个恋人，是他朋友的妹妹陈锦端。陈锦端是个大美人，林语堂从圣约翰大学回来，常到朋友家小坐，一来二去，爱上了陈锦端，但陈锦端的父亲却看中一个名门阔少。当时子女的婚姻由父母包办，林语堂无可奈何，为此非常痛苦，闷闷不乐，姐妹们都看出来了，半夜里母亲提一盏马灯到林语堂房里，问他有什么心事，林语堂失声大哭，哭得很伤心。
婚后轶事
烧结婚证
1919年1月9日，林语堂与廖翠凤结婚。那时，他已在清华大学当了三年英文教员，并且准备到美国哈佛大学留学。结婚前的头一天晚上，林语堂请求与母亲同床。小时候，他习惯玩母亲乳房，直到10岁才改掉这个毛病。母子关系一向很亲密，林语堂意识到再也不能同母亲同床睡觉了，想陪伴母亲一夜。次日，林语堂去廖家迎亲，把象征吉祥的龙眼茶喝了，连龙眼也全部吃光。结婚后，父亲送他到上海，他征得廖翠凤的同意，将结婚证书烧掉了，他说“结婚证书只有离婚才用得上”。烧掉结婚证书，表示了他们永远相爱、白头偕老的决心。这对新婚夫妇，在横渡太平洋的轮船上度蜜月。他们成天躲在船舱里，一同赴美留学的清华学子还大开玩笑，殊不知是廖翠凤盲肠炎发作，疼痛难忍，需要照顾。林语堂急得没有办法，想到夏威夷上岸做手术，可廖翠凤带的一千元嫁妆不敢动。因赴美留学，清华只提供单程船票，每个月只40美元的助学金。有廖翠凤的一千元嫁妆垫底，他们才成行的，若割盲肠用光了，到了美国怎么办？后来廖翠凤痛苦减轻，就省下了这笔钱，准备上了岸再治。到了美国，到了哈佛，林语堂找一个天主教医生给廖翠凤看病，检查、做手术，切除了盲肠。接着，林语堂就到哈佛读书了。
深情一吻
在哈佛读了一年，尽管林语堂的每门功课都是甲等成绩，助学金却被留学生总管施赞元停了。林语堂没法再呆下去，恰逢美国的基督教青年会招募华工去法国乐库索城，他只好前往应征。在法国，林语堂用常见的一千字，为中国劳工编了一本教材，教中国劳工学文化。廖翠凤向一位法国女士学习法文，变成了莫逆之交。他们打工储蓄了些美元，这时德国马克贬值，他们便到了德国。林语堂先在歌德的故乡耶鲁大学攻读莎士比亚，获得硕士学位，又到莱比锡大学攻读比较语言学。经济困难时，廖翠凤只得变卖首饰以维持生活。林语堂除上博士课程外，还与廖翠凤一起上英文课程，二人宛若兄妹。当时他们住在郊外，房东太太是个寂寞的寡妇，靠啤酒和腌肉过活，成天抽烟。寡妇拿自己写的诗给林语堂看，存心0他。有一次林语堂经过她的门口，她突然晕倒，要林语堂扶她起来，林语堂看出她的用意，连忙喊翠凤，寡妇就假装清醒了，二人会意而笑。终其一生，林语堂在操守上也是绝对纯洁的。美色当前，欣赏一番，幽他一默，亦不讳其所好，惟不越雷池一步。有一位与著名乐评家离婚的美国女士问他：“林博士，你们夫妻之间没有‘问题’吗？”林语堂回答说：“没有。”那女士非常惊讶，看出中国婚姻与美国不同。
结婚快四年了，廖翠凤才敢怀孕。由于经费不足，他们不得不决定回国分娩。此时，林语堂正在准备着博士考试。林语堂上学以来，从不把考试当一回事，他的老主意就是只求及格，不临时抱佛脚，所以绝不惊慌；而廖翠凤却胆战心惊，替他着急。
博士论文考试的最后口试，林语堂要从这个教授房间跑到另一个教授房间，轮番答辩，挺着大肚的廖翠凤在外面焦急地等待着，倚闾而望。已到十二点了，林语堂才出来，廖翠凤问：“怎么样啊？”林语堂说：“合格了！”廖翠凤就在大街上给了他一吻。这一吻，宣告了林语堂学生时代的结束，他获得了莱比锡大学的语言学博士学位。
夫唱妇随
1927年至1936年，林语堂在上海，先住在善钟路的一套西式公寓里，后在愚园路置了花园洋房。林公馆内，草木四季常青，仅白杨树就有四十多棵，还有空地可以种番茄、芹菜、南瓜之类，雇有厨师、保姆、女仆、书童，廖翠凤已是阔绰的林夫人了。1936年应赛珍珠之邀赴美写作，林语堂将房子和家具标价出售，虽是亲兄弟买下了，他也照收款。8月1日林语堂夫妇带着三个孩子登上豪华客轮胡佛总统号离沪赴美，与1919年新婚时赴美留学，不可同日而语。
到了美国先住在宾夕法尼亚省的乡村里，觉得不方便，后迁居纽约，在中央公园西沿的一座大厦的七楼安了家。美国的劳动力没上海那么廉价，林语堂出于写作需要，雇了一个秘书，专职仆人却雇不起了，只能用钟点工。家务劳动的重担就压在了林夫人肩上。
抗战初期，林语堂写了不少文章宣传抗日，廖翠凤也走出家门，担任了纽约华侨妇女发起的救济会的副会长。每天从上午11点到下午4点半，她到第57街的救济会办公室上班，向纽约的贵妇人们宣传抗日，开展募捐活动，还召集救济中国难民和孤儿的各种会议。
廖副会长向救济会提出的许多建议和计划，常常令人拍案叫绝。时间一长，她才透露其中奥妙。林语堂不仅支持夫人从事社会活动，还对救济会的工作很感兴趣，经常为廖翠凤出谋划策，夫唱妇随，锦囊妙计皆出自幽默大师。